Este edificio también es sencillo de localizar puesto que se encuentra en el casco urbano, situada frente a la Iglesia de Santiago del Deán (o Iglesia del Castelo).
Como la mayoría de este tipo de edificios, es de propiedad privada por lo que no se puede acceder al mismo. Siempre se puede admirar su sobria estructura exterior y su historia.
El actual edificio es del s. XVIII, levantado sobre uno anterior del s. XVI. Relacionados con esta construcción se encuentran familias como la Romay, Aguiar y Rábago a lo largo de la historia, hasta llegar a la actual propietaria Carmela Arias Díaz de Rábago, condesa de Fenosa y presidenta de la Fundación Pedro Barrié del a Maza, hija adoptiva de A Pobra do Caramiñal.
Este pazo es de estilo barroco, aunque prescinde en su mayor parte de la decoración en oposición al tamaño del mismo, tiene algún detalle externo como unas gárgolas en la zona superior y el escudo familiar. Lo que más destaca de este edificio es su torre, utilizada con seguridad, con fines de vigilancia (o simplemente como mirador) en otros tiempos, puesto que cuando fue construida estaba a un paso del mar.