Bâti sur un tertre, le château domine la vallée, position militaire en arrière du Rance et en contact direct avec l’Albigeois. La sortie des gorges était gardée par le château de Brusque, démoli en partie au XIIIème siècle, et qui formait un seul prieuré et une seule seigneurie avec Fayet. Un bâtiment défensif, entouré de douves, la remplaça afin de surveiller ces rives dont la situation formait u
ne ligne secondaire de défense. Le bâtiment actuel forme un parallélogramme régulier ponctué aux angles de tours, ainsi qu’une cinquième qui enferme la vis d’escalier, en pierre de taille. L’architecte italien qui conçoit ce château de plaisance à la Renaissance organisera, dès le départ, la voûte de feuillages, afin d’être à l’abri des regards indiscrets. Après avoir descendu la longue allée bordée de tilleuls et de marronniers, le château nous apparaît avec la belle vue sur la cour d’honneur, depuis que les grandes grilles ont remplacé le mur d’enceinte avec porte ogivale. Le dallage, en forme d’oeil, autour de la belle fontaine à double vasque, nous invite à écouter le bruit de l’eau et nous mène vers la porte d’entrée, de style troubadour, et enfin au puits majestueux, qui alimentait les besoins domestiques, classé M.H. La margelle, en forme de marmite, est couronnée par un fronton sculpté et armorié supporté par deux piliers, qui fut bâti en 1564 par Guy de Castelnau-Bretenoux. Au préalable, les premiers seigneurs de Brusque et Fayet furent les vicomtes d’Albi, au XIème siècle, les vicomtes de Béziers et Carcassonne, au XIIème siècle, les comtes de Toulouse, au XIIIème siècle, et enfin les seigneurs de Castelnau-Bretenoux, au XIVème. Leur monogramme entrelacé et leur blason écartelé, soutenu par deux griffons ailés, sont sculptés dans la pierre, ainsi que la date de construction du puits. Nous pouvons également y lire une sentence du prophète Zaccharie, « Fontaine ouverte à la maison de David » ainsi qu’une sentence de l’évangile de Saint Matthieu, « Le ciel et la terre faudront mais mes paroles ne passeront ». Vingt-cinq ans plus t**d, la fille de Guy de Castelnau, Jacquette de Clermont, épousa Jean V d’Arpajon, et sa dot servi à des travaux de restauration et d’embellissement, en particulier la balustrade de pierre, ornée de deux harpes (emblème armorial de cette puissante famille du Rouergue). Henri de Navarre, le futur Henri IV, a séjourné au château de Fayet et aurait donc traversé l’enfilade des salons, à l’époque entièrement tapissées de tentures, dont certaines étaient encadrées par des décors peints à l’aide des ocres extraits du Rougier de Camarès. Ceux-ci vont également servir de base aux nombreuses fresques, en particulier celles des plafonds à la Française. Nous y retrouvons des symboles des Compagnons du Devoir, d’autres à signification ésotérique, de riches décors de pierreries mais aussi la représentation des arts. De nombreux travaux de gypserie vont servir de base aux décors des cheminées monumentales, d’époque Louis XIV, qui ornent chacun des salons ainsi que la chambre d’apparat et l’ancien studiolo (cabinet d’alchimie). Louis d’Arpajon, fils de Jacquette et de Jean V d’Arpajon, se maria trois fois. Gloriande de Thémines, sa première épouse, lui donna plusieurs enfants dont un fils, qui sera plus t**d déshérité. La tradition affirme que Louis ordonna l’assassinat de Gloriande, suite à son infidélité. Marie de Simiane, qu’il épousa en secondes noces, mourut en couches, avec l’enfant, neuf mois après leur mariage. Enfin , la troisième épouse, Catherine d’Harcourt, lui donna une fille, Catherine-Françoise, qui fut légataire de ses biens en 1672, avec pour charge de relever le nom et les armes de cette puissante famille à la naissance du premier enfant mâle. Ce fut François, fils de François de la Rochefoucault, comte de Roussy. Il eut une fille, Pauline-Françoise, qui épousa le duc et maréchal de Biron. Sous la Révolution, cette dernière, âgée et fort sourde, s’excusa de cette infirmité devant le tribunal révolutionnaire, qui la condamna à mort pour avoir « oeuvré sourdement contre la République » ! Avant d’être guillotinée, la duchesse de Biron eut le temps de vendre le château à André Jean Simon de la Nougarède, titré baron de Brusque et Fayet par l’empereur Napoléon Ier et président de la cour impériale de la Seine. Le second baron de Fayet, sans descendance, vendit à Messieurs Soulas et Roques. Ce dernier était originaire du village et sa récente fortune, amassée grâce au jeu, fut engloutie par la déroute de la banque Oustric. Ils réalisèrent quelques travaux mais laissèrent au château son authenticité dans l’aspect extérieur. Ce fut Monseigneur Cabanel, curé de Notre Dame des Tables à Montpellier qui, à l’aide d’un don anonyme d’un million, se porta acquéreur du château et de son domaine. Ce don devait servir à la création d’un orphelinat dirigé par des religieux. Son choix se porta sur la congrégation des Salésiens (œuvre de Saint Jean de Bosco), qu’il installa dans les dépendances et qui devint légitime propriétaire lors de son décès, abritant ensuite une colonie de vacances. De nos jours ce site reprend vie, grâce à l'impulsion donnée par le propriétaire avec l'aide de l'association "les amis du château de fayet", au travers de nombreuses manifestations. A proximité, l’abbaye cistercienne de Sylvanès et le château féodal de Montaigut, constituent une densité patrimoniale de grand intérêt, dans un cadre rural exceptionnel englobé dans le Parc Naturel Régional des Grands Causses.
