Le château de Bussy-Rabutin porte les cicatrices d'une disgrâce royale écrite sur ses murs.
En 1659, Roger de Bussy-Rabutin, général et courtisan du roi Louis XIV, commit l'erreur de médire sur les mœurs de la cour lors d'une orgie au château de Roissy. Le jeune roi le relégua d'abord en Bourgogne. Mais Bussy ne renonça pas. En 1660, il rédigea un pamphlet intitulé « Histoire amoureuse des Gaules », satire mordante sur les aventures galantes de la cour et les premières amours du roi lui-même. Il ne voulait pas le publier, seulement amuser quelques amis. Une intrigante, la marquise de la Baume, le fit copier en secret et le diffusa à Liège en 1665. Lorsque le texte parvint à Versailles, Louis XIV fit arrêter Bussy, le destitua, l'enferma treize mois à la Bastille, puis l'exila à vie dans son domaine bourguignon.
Pendant dix-sept ans, Bussy transforma son exil en monument à sa propre mémoire. Il fit décorer le château de plus de cinq cents portraits peints des courtisans qu'il avait connus et qu'il regrettait, et des femmes qu'il avait aimées. Il écrivit ses mémoires, entretint une correspondance célèbre avec sa cousine Madame de Sévigné. Ce n'est qu'en 1683 que le roi lui permit d'assister à son lever à Versailles, mais Bussy, déçu, préféra rester dans son château.
Au XIXe siècle, le Comte de Sarcus entreprit de restaurer le domaine et de préserver l'œuvre intégrale de Bussy. Le château, classé monument historique dès 1862, demeure une galerie de portraits suspendus, le tombeau vivant d'une vengeance royale.