Le château du Rivau est né d'une maison forte au treizième siècle, mais c'est au quinzième qu'il devient vraiment ce qu'on voit aujourd'hui. Un gentilhomme du nom de Pierre de Beauvau, chambellan du dauphin Charles VII, reçoit le château en dot en 1438 et obtient du roi l'autorisation de le fortifier. En 1443, les travaux commencent, exactement l'année où l'on édifie l'hôtel Jacques Cœur à Bourges. Le château sort de terre d'un seul jet, en quadrilatère fermé, dominateur sur la vallée de la Vienne et de la Veude, parfait pour surveiller les grands axes de communication entre Anglais et Français en pleine Guerre de Cent Ans.
Ce qui fait la légende du Rivau, c'est son écurie. Au quinzième siècle déjà, elle devient célèbre pour ses destriers. En 1429, Jeanne d'Arc elle-même s'y arrête avant de rejoindre le siège d'Orléans, en quête de chevaux de combat. Un siècle plus tard, François de Beauvau, châtelain du Rivau et capitaine du roi François Ier, construit des écuries monumentales qui fourniront ses étalons au roi lui-même.
À la Renaissance, le château s'humanise. Les fenêtres gothiques s'agrandissent, les façades se parent de sculptures. Mais au dix-huitième siècle, faute de modernisation, il devient simple ferme. Au dix-neuvième, il sombre dans l'oubli, servant de stockage de blé. Classé aux Monuments historiques en 1918, il attend près d'un siècle avant d'être restauré et ouvert au public. Aujourd'hui, le Rivau mêle encore ses pierres médiévales, ses raffinements Renaissance et des créations contemporaines, gardant trace de tous les siècles qu'il a traversés.