El Palacio, construido en mampostería con detalles de sillería, se divide en tres pisos. La entrada principal presenta un arco de medio punto y un balcón con el escudo de los Velasco. La fachada que da a la Capilla incluye un mirador de marquetería y vidrieras. La Capilla, de estilo clasicista, tiene un arco de medio punto y una hornacina con una escultura de Santiago. El edificio está rodeado por un doble recinto, uno almenado y otro con verjas. Construido en 1623 por orden de Felipe IV, el palacio fue residencia y estudio del escultor Quintín de la Torre. Destacan los escudos de los Velasco en la entrada principal.