Le château de Brissac est le plus haut château de France, avec sept niveaux et deux cent quatre pièces. Mais sa hauteur n'explique pas son histoire.
Foulques Nerra, comte d'Anjou, y a construit un château-fort au XIe siècle. Après la victoire de Philippe Auguste sur les Anglais, le roi le céda au sénéchal Guillaume des Roches. Jusqu'à ce qu'en 1455, Pierre de Brézé, fidèle de Charles VII, le reconstruit entièrement. À sa mort à la bataille de Montlhéry, son fils Jacques en hérite avec sa femme Charlotte de Valois, fille du roi et d'Agnès Sorel.
Le 1er juin 1477, Jacques découvre que Charlotte a une liaison avec son ami Pierre de Lavergne. Il les transperce tous deux de son épée. La légende raconte qu'elle apparaît désormais sous la forme d'une dame blanche les nuits d'orage.
En 1502, René de Cossé achète le château sous le règne de François Ier et le roi le nomme gouverneur du Maine et de l'Anjou. La famille adopte alors le nom de Brissac. Pendant les guerres de religion, son petit-fils Charles prend le parti de la Ligue; Henri IV l'assiège. Après son ralliement en 1594, Charles obtient le titre de duc de Brissac en 1611, et l'architecte Jacques Corbineau reconstruit la forteresse gravement endommagée en un édifice grandiose aux influences baroques du XVIIe siècle.
En 1620, Louis XIII et sa mère Marie de Médicis s'y retrouvent pour une première entrevue de conciliation. La Révolution le transforme en cantonnement, le met à sac. Il n'est restauré qu'en 1844. En 1890, un théâtre y est inauguré sur deux étages. Pendant la Seconde Guerre mondiale, il abrite le mobilier de Versailles et les collections des plus grands musées de France.