Ce superbe édifice de style Renaissance vit poser ses premières pierres à la fin du 15ème siècle par Jean Ier du Quélenec. Le granit rose d'Erquy fut le matériau de base d'un ensemble dont les remparts descendent dans une ceinture de douves. Par le passé, un pont-levis défendait son entrée.

La famille d'Aremberg puis Visdeloup de la Ville-Théart furent les propriétaires suivants. Pendant cette période, les guerres de la Ligue firent perdre à ce joyau beaucoup de son éclat par de multiples destructions. Ses propriétaires, notamment les Visdeloup père, fils et petit-fils entreprirent de longs travaux pour le redresser, du 17ème au 18ème siècle. La Révolution le vit pillé, incendié partiellement et même transformé pour un temps en prison. Il fut racheté en 1796 par Jean-André Valletaux, général d'Empire, puis revendu par son petit-fils en 1880 à Monjarret de Kerjégu, amiral et sénateur du département.

Il est classé Monument Historique depuis 1945.

Si d'aventure vous abordiez cet endroit de nuit et que vous croisiez un cheval au galop, ne vous arrêtez pas : cet animal tirant le Chariot de la Mort du Diable serait votre perte si vous le montiez ! Mais le spectre d'un prêtre hantant les allées du château, psalmodiant, presque silencieux, en lisant son bréviaire et semblant vous ignorer détournera peut-être votre attention et vous sauvera ... C'est du moins ce que dit la légende ...