Chauvigny doit son allure de forteresse à une décision prise il y a mille ans. Peu après l'an mille, les évêques de Poitiers ont hérité la seigneurie du lieu et se sont mis à construire. Non un château, mais cinq. Château Baronnial, château d'Harcourt, donjon de Gouzon, château de Montléon, tour de Flin: tous juchés sur l'éperon rocheux qui domine la vallée de la Vienne. Autour d'eux, ils ont élevé deux kilomètres de remparts percés de portes fortifiées. À l'intérieur, ils ont ajouté quatre églises, dont la collégiale Saint-Pierre construite au XIIe siècle, ornée de sculptures de l'école poitevine.
Ces cinq châteaux forment un ensemble fortifié peu commun en Europe. Pendant des siècles, les évêques les ont rachetés les uns après les autres auprès des fiefs voisins, jusqu'en 1447. Au XVe siècle, la ville atteint sa plus grande extension: un bloc de pierre et de défense, serré contre lui-même, dominé par ses tours.
Chauvigny a connu les guerres de Cent Ans. En 1346, les troupes du comte de Derby la ravagent. Trente ans plus tard, le Prince Noir y passe, puis Jean le Bon, avant leur affrontement à Nouaillé-Maupertuis. Les Anglais reviendront, occuperont la place en 1412. Du Guesclin et Jean de Berry les en chasseront deux ans plus tard.
Mais c'est un nom plus ancien qui a marqué la mémoire. André Ier de Chauvigny, prince de Déols, s'est illustré à la troisième croisade en 1190. La légende raconte qu'il se précipita sur les musulmans du haut d'une hauteur et « rasa tout ce qui se trouvait sur son chemin ». De ce combat naquit le cri de guerre des siens: « Chauvigny, chevaliers pleuvent ». Aujourd'hui encore, c'est la devise de ses descendants.