El emplazamiento en el que se encuentra el Palacio de la Condesa de Casares, fue concedido al caballero Pascual Pérez de Hubeda por el Rey Alfonso X el Sabio tras la reconquista de la ciudad en el año 1264.
Durante los años 1678 a 1836, este palacio fue Cárcel Real por su proximidad a la sede de Justicia.
Este palacio, como se conoce hoy en día, fue obra del arquitecto vaco Balbino Marrón en 1839.
Un dato curioso de este palacio es que las escaleras son de mármol Genovés, construidas con las mesas del Refectorio de la Cartuja de Jerez, destruidas por las tropas Napoleónicas.
En el interior del palacio destacar el suelo del salón recibidor, con mosaicos originales del siglo XIX, el patio principal, la escalera de mármol Genovés y la loggia interior del jardín.
En mayo del 2021, un empresario se hizo dueño de este palacio y se convertirá en Hotel de Lujo.