Todo parece indicar que esta  casa-palacio se construye a finales del siglo XVIII, aunque el aspecto actual responde a una profunda modificación llevada a cabo en los últimos años del siglo XIX como residencia de la familia Moreu-Gisbert, Condes de Torre-Isabel. Su construcción, fuera de lo que había sido el recinto amurallado de la ciudad, pero cercano a lo que se consideraba “el centro”, responde a las necesidades de la  nueva burguesía  y pequeña nobleza de crear espacios dentro de la ciudad más amplios y acordes con las nuevas formas de vida. Por ello el estilo usado en su construcción es el Neoclásico, interpretado como una vuelta al orden y repertorios de la arquitectura del Renacimiento, perfectamente visible en la distribución de ventanas y balcones de su fachada.  No obstante, en ella hay dos guiños a la arquitectura tradicional granadina, como son la solana tradicional del último piso y el marco de piedra de Sierra Elvira  de la puerta principal.

El interior de la casa se distribuye en torno a un patio central con galerías adornado en su planta baja con un zócalo de azulejos que bien pudieran ser de Triana por los motivos de medallones que representa y por ser muy típicos de esta factoría sevillana.

Se accede al piso superior a través de una escalera imperial que se abre en dos alas a partir del primer descanso lo que imprime al conjunto un importante efecto de prestigio. El gusto orientalista en la arquitectura del XIX, cuyo máximo exponente en la Costa es el  Palacio de la Najarra en Almuñécar, tiene su reflejo aquí en los arcos mozárabes del primer piso. Por último es también digna de destacar en el primer piso la serliana o arco triunfal, inspirada en el Palacio de Carlos V de Granada.
Esta casa fue rehabilitada en el año 2000 por parte del Ayuntamiento para alojar parte de sus dependencias y actos culturales, rehabilitación, por otra parte hecha  con un gusto exquisito y muy respetuosa con el original.

En cuanto al nombre de “Casa de la Condesa” tiene su origen en el hecho de haber sido residencia habitual durante el último tercio del siglo XIX y primero de XX de la primera condesa de Torre Isabel, Dª Isabel  Gisbert y López, casada con Horacio Moreu  Espinosa, natural de Motril, a quién pertenecía el edificio. A pesar de ser ella la primera que ostentó el título de condesa desde 1876, fue su padre, D. Lope Gisbert García-Tornel, quien  adquirió los méritos que le hicieron acreedor de dicho título nobiliario. Así en el Real Despacho de concesión  se hace constar: “... en memoria de su padre D. Lope Gisbert, Director General de la Hacienda de la Isla de Cuba” y por las gestiones que como delegado especial del Gobierno Español llevó a cabo en 1876 en la renegociación de la Deuda Exterior del Estado con los acreedores de París, Londres, Bruselas y Ámsterdam.

En estas fechas Dª Isabel estaba ya casada con Horacio Moreu y según cuenta Melchor Almagro en su obra “Viaje al siglo XX” su casa “...parece un museo. En ella vi idolillos o amuletos de marfil, de azabache, de cuerno; puñales y sables, espadas que llamaban yutaganes, procedentes en su mayoría de los años vividos en Ultramar por él” (D. Lope).

Del matrimonio nacieron siete hijos: Horacio, Lope, Pedro, Carlos, Isabel, Francisco y Luz. Esta última fue la primera mujer concejala por el partido Unión Patriótica en la historia del Consistorio motrileño entre los años 1927 y 1929, siendo alcalde D. Carlos Castillo Torres. Falleció junto a su hermana en Málaga en 1936.

El escudo de los Condes de Torre Isabel es un águila que contiene un escudo cuartelado con dos torres, dos lebreles, una T, tres flores de lis, y un guerrero armado con lanza cabalgando sobre caballo. Flanquean el escudo, sobre las alas del águila una T y una Y, iniciales de Torre Ysabel.  Sobre el escudo, una corona perlada, propia de la dignidad de Conde.