La Révolution Française, l'Empire et la restauration se succédant, l'arriére petit-fils de Philippe-Xavier, Léonel de Moustier, Ve Marquis, diplomate de haut vol (ambassadeur à Berlin, à Vienne, à Constantinople et Ministre des Affaires Etrangères de Napoléon III) décida vers 1860 la construction d'un château moderne néogothique, sur les plans de l'architecte Clément Parent, éléve de Viollet le Duc.