En 1839 se inició la reforma que concluiría con el actual edificio neoclásico de la II rama de la familia Olives, y que el archiduque Luis Salvador de Austria, de la dinastía imperial de los Habsburgo, definió en su Die Balearen (1869-1891) como «sin duda alguna la mansión más hermosa de la isla».

Las estancias del palacio han presenciado visitas de reyes y otros insignes personajes, su incautación por parte del ejército republicano durante la Guerra Civil española (1936-1939), celebraciones familiares y acontecimientos sociales protagonizados por los diferentes condes, quienes a lo largo del tiempo han sido investidos de importantes cargos públicos, en la antigua Universidad General de Menorca, en la alcaldía de Ciutadella o en la Asamblea Nacional Consultiva durante el reinado de Alfonso XIII, entre otros, y de honores de la Real Casa y Patrimonio de la Corona de España.

El antiguo caserón, residencia solariega del condado de Torre-saura durante 177 años (1818-1995), guarda celosamente entre sus paredes una parte importante de la historia de la ciudad, y de Menorca, además de la atmósfera y la memoria del infortunado destino de uno de los principales linajes de la isla.