O palácio de Toledo acolheu reuniões de importantes personalidades literárias e artistas como Miguel de Cervantes, Góngora, Lope de Vega, Baltasar Gracián, Tirso de Molina, e o próprio El Greco . O jardim da propriedade foi um dos mais elaborados e pormenorizados da altura, tendo albergado veados, gazelas e estátuas de ninfas.

O Conde de Romanones, uma das personalidades políticas mais influentes em Espanha na época, adquiriu a propriedade em 1923 e levou a cabo uma profunda restauração do espaço. Naquela época, serviu de alojamento ao rei Alfonso XIII em várias ocasiões, que ali permanecia durante as suas jornadas de caça naquela zona. No início do século XX, as ruínas do palácio foram transformadas num hotel de luxo. Desde 2014, o hotel é gerido pelo Grupo Hotusa e faz parte da cadeia Eurostars Hotels.