Le château de Brancion se dresse en ruines sur la colline qui domine Martailly-lès-Brancion. C'est un château fort du XIIe siècle, et son histoire se lit comme une suite ininterrompue de batailles et de pillages.
Pendant trois cents ans, la forteresse appartient aux seigneurs de Brancion, surnommés « Gros ». Leur devise est « au plus fort de la mêlée ». Ils pillent les terres autour d'eux avec tant de régularité que les moines de Cluny s'en plaignent à l'évêque et au comte. Le roi Louis VII finit par intervenir en personne, et Philippe Auguste doit arbitrer le conflit. Certains de ces seigneurs cherchent à se faire pardonner: ils vont jusqu'à Rome, d'autres partent pour la Terre sainte.
En 1259, un de ces Gros, Henri III, vend ses seigneuries au duc Hugues IV de Bourgogne pour éponger les dettes de son père. Le château devient alors le siège d'une châtellenie ducale avec garnison permanente. Les ducs le renforcent et y construisent un logis dit de « Beaujeu ».
Quand Charles le Téméraire meurt en 1477, Brancion passe à la couronne de France. Pendant deux siècles, il change de mains: engagistes, seigneurs, puis familles nobles. En 1562, il accueille les religieux de Tournus fuyant les Huguenots. Quelques années plus tard, Jean de Saulx-Tavannes en fait une forteresse de la Ligue catholique. En octobre 1594, après un siège acharné, les troupes royales du colonel Alphonse d'Ornano le saccagent. Le déclin commence alors.
Depuis 1959, une association travaille à relever ses ruines et à le faire connaître. Si un jour vous faites halte dans le centre, il se visite.