Tiene su origen en un ingenio azucarero denominado Ingenio de Lucas Palma o de La Palma. A mediados de siglo XVII el ingenio y la casa pasaron  a ser propiedad del mayorazgo de los Victoria que mantuvieron la propiedad hasta mediados del siglo XIX y en 1983 pasó a propiedad municipal para convertirse tras su restauración, en centro cultural, sede de la Biblioteca y Archivo Municipales, así como del Centro Asociado de la UNED .Aunque el edificio ha sufrido numerosas modificaciones, mantiene en lo sustancial su estructura primitiva en forma de U en torno a un gran patio central. La crujía de la fachada principal o parte noble estaba destinada a vivienda señorial, mientras que el resto correspondería a las viviendas del servicio, almacenes y caballerizas.

La fachada, muy modificada, tiene tres cuerpos de altura, en la que destaca la puerta principal adintelada de piedra que da paso al zaguán por el que se accede a la galería interior. En lateral derecho se sitúa la escalera que da acceso a la planta principal y cuyo descanso aparece cubierto con alfarje de decoración geométrica, muy ricamente trabajada , y, probablemente, uno de los elementos originales de la construcción del XVII. En la fachada, y sobre el balcón de la puerta principal, aún puede apreciarse el escudo de los Victoria.