Construit entre 1728 et 1740, embelli entre 1750 et 1760, le Château de la Rivoire est façonné par une double inspiration : celle des bastides aixoises et celle des « folies » d’Ile de France. Il reflète les goûts et l'histoire d'une famille ayant vécu plusieurs décennies en Provence avant de partager son temps entre la vallée de la Cance et Versailles, où le Marquis de la Rivoire occupait au milieu du XVIIIème siècle une charge auprès de la Dauphine, Marie Josephe de Saxe. Etienne de Canson puis son fils ont fait du château de la Rivoire leur résidence de 1830 aux premières années du XXème siècle. Très fortement inspiré des bastides, il reflète l'itinéraire, de la Provence à Versailles, d'une famille du Vivarais bénéficiant de charges à la cour.

Marc Seguin, célèbre inventeur, achète la propriété en 1859 à l'âge de 74 ans. Des restes d'une maison forte, il va faire une incroyable demeure, unique en son genre, puisqu' aucune autre maison n'a été transformée à ce point pour permettre à un grand ingénieur du 19ème siècle d'y poursuivre des activités scientifiques ou culturelles lors de sa retraite, et ce faisant d'en faire un lieu de réflexion et de création.

Le château-monastère de Colombier-le-Cardinal existait déjà aux 12ème et 13ème siècles en tant qu'important point de défense et de refuge. Il était en la possession de la famille Malatour-Colombier d'Annonay. L'un des leurs, Pierre de Colombier, Cardinal, Évêque d'Ostie, puis Légat du Pape (c'est à ce titre qu'il couronna l'Empereur Charles IV en 1355) est à l'origine de l'établissement des Célestins au château. Selon son vœux testamentaire, une communauté de religieux Célestins est établie au château à sa mort en 1361. Les armes des Célestins de Colombier, comme celles de tous les Célestins de France, portaient une croix d'or avec un S d'argent au champ d'azur, accompagnée de deux fleurs de lys de même. À l'heure des Guerres de Religion, dans les années 1560, les huguenots détruisent le monastère de Colombier, alors véritable quartier général et refuge des catholiques. Après l'édit de pacification de Nantes en 1585, le monastère est reconstruit presque entièrement en 1655. Puis, l'ordre des Célestins ne se conformant plus aux règles de Saint-Benoît, leur fondateur, est supprimé en 1773. Le château-couvent des Célestins de Colombier-le-Cardinal est alors fermé en 1778. En 1790 les bâtiments du château des Célestins sont vendus comme Biens Nationaux aux frères Monneron. Puis, en 1859, le château et les terrains attenants sont vendus à la famille Barou de La Lombardière de Canson. En 1961 la famille de Canson vend le château et des terres attenantes, à la société Saint-Gobain et en 1982, la société Saint-Gobain vend le château et les terres au syndicat mixte d'équipement de l'Ardèche, qui sont loués à la Fédération départementale des associations familiales rurales. L'édifice est partiellement classé au titre des monuments historiques en 1963. A ce jour le château est une propriété privée et ne se visite pas.

Ce charmant castel est composé de trois tours. La plus ancienne semble être le donjon, une tour rectangulaire dont l’accès s’effectue au premier étage. Seules quelques rares et étroites ouvertures éclairent l’intérieur. Les étages de celui-ci étaient entièrement planchéiés. Il aurait été construit vers 1360 par le cardinal de Colombier, seigneur du lieu. La tour ronde au sud-est, avec ses meurtrières horizontales, date du 15ème siècle. Dans cette tour se trouvent des oubliettes. La troisième, plus récente, daterait du début du 16ème siècle. Des bâtiments adossés au donjon forme un corps de logis Renaissance. Un autre bâtiment a été ajouté ou réparé à une époque encore plus récente 17ème siècle ou 18ème siècle… Siège d'une baronnie, l'histoire du château remonte au moins à 1025. Après la Révolution, il a appartenu aux familles annonéennes, Desfrançais de l’Olme, Bechetoille, Marthoret par héritage puis après une vente aux familles annonéennes Mignot et Lapize de Sallée, Il a été habité, semble t’il, jusque vers 1850 – 1860. Ensuite il a été progressivement oublié sous la végétation jusqu’au milieu du 20ème siècle. Les vestiges ont été inscrits au titre des monuments historiques le 28 décembre 1950. Après une autre vente en 1964, il est restauré et de nouveau occupé. Il a changé plusieurs fois de propriétaires depuis et ne se visite pas.

Le Château de Gourdan a été construit au milieu du XVIIIe siècle en remplacement d'un vieux manoir dont subsiste encore une aile. Le bâtiment principal en forme de "L" comprend deux parties : L'une, de style classique et l’autre aile, vestige de l’ancien manoir, date de 1578. Outre la chapelle, elle abrite un pressoir, un tinal et un chais où le vin du domaine était élaboré et conservé. Devant le bâtiment principal, le parterre à la française construit sur une terrasse artificielle donne une partie de son charme au château, avec ses broderies de buis, ses rosiers et ses orangers à la belle saison. Située juste en-dessous, l’orangerie, considérable par sa taille. Enfin, plus au Nord, l’aile de la Tour carrée, construite au 19ème siècle, comprenait en plus de la tour, qui devait servir d’observatoire, une serre chaude et encore des glacières.

Lieu de refuge et de justice, le château administrait les cinq communes de la vallée de la Vocance. Ses bâtiments étaient plus nombreux qu'aujourd'hui et constituaient une petite cité fortifiée, dominée par un donjon, sur la rive gauche de la Cance. Le site a appartenu à différentes familles, puis son déclin a suivi celui de la féodalité. Il reste de cet ensemble surtout ses bâtiments d'entrée, au bord de la rivière, que leur propriétaire actuel restaure progressivement. Le site est inscrit comme monument historique depuis 1986.