Luçon porte encore dans ses rues le tracé de ses remparts du Moyen Âge. Ce dessin ovoïde, vous le suivez sans le savoir si vous empruntez les rues de l'Hôtel de Ville, du Pré Haut ou de Gâte-bourse: elles épousent l'ancienne enceinte fortifiée que les moines et les seigneurs avaient édifiée pour protéger la ville. À l'époque, un partage du pouvoir très singulier gouvernait les lieux: un baron laïc et un abbé, puis un évêque à partir du XIVe siècle, se partageaient l'autorité. Deux châteaux forts occupaient le cœur de la ville, l'un pour le seigneur, l'autre englobant l'abbaye Sainte-Marie. Tout cela formait le bail Saint-Philbert, dont on retrouve les vestiges autour de l'actuelle place Leclerc et de la cathédrale.
C'est cette charge de capitale spirituelle qui attira un homme dont le nom devait devenir bien plus célèbre que celui de Luçon. Le cardinal de Richelieu en fut l'évêque réformateur avant de devenir le grand maître de la diplomatie de Louis XIII. La ville sortait ruinée des Guerres de Religion. Richelieu restaura la cathédrale, le palais épiscopal, fonda un séminaire et rebâtit une cité qu'il voyait, dit-on, comme le plus vilain évêché de France. Son travail de reconstruction fit de Luçon une ville de prestige, attirant une bonne société qui y construisit de riches demeures aux toits d'ardoise. Au XIXe siècle, le goût romantique pour le Moyen Âge transforma certains bâtiments en tours et gargouilles. Aujourd'hui, les arbres taillés en art topiaire et les arcs de verdure qui bordent les avenues donnent à Luçon son allure singulière, celle d'une capitale spirituelle oubliée qui s'est refait une beauté verte.