Le château de Chastellux tient debout depuis plus de neuf cents ans sur un pic rocheux qui domine la Cure, et la même famille qui l'a construit y habite toujours. C'est rarissime en France.
Tout a commencé par un fort romain, le Castrum Lucii, dont on retrouve encore des traces dans la région. Vers 1080, la tour Saint-Jean s'élève, l'une des plus anciennes tours d'Europe. Elle mesure plus de trois mètres d'épaisseur aux murs, avec cinq niveaux creusés dans la pierre. Au deuxième étage, une prison pour officier et un cachot qu'on descend par un trou dans le plafond. Au sommet, une cloche du guet pour donner l'alerte en cas de danger.
En 1116, c'est là que se tient une audience de justice entre les barons locaux et l'abbaye de Molesme. La tour existe déjà, « ancienne en 1116 » dit le texte de l'époque.
Les seigneurs de Chastellux agrandissent le château siècle après siècle. En 1240, la salle des Gardes sort de terre. Au XVe siècle, le maréchal Claude de Chastellux remporte la bataille de Cravant en 1423 et obtient le droit d'entrer à cheval dans la cathédrale d'Auxerre, en habit militaire et faucon au poing.
La Révolution le ravage. En 1792, les armes anciennes disparaissent. En août 1793, tout est saisi. Les tableaux brûlent sur la place d'Avallon. Chaque trace de blason devient synonyme de destruction.
Le château a survécu à tout cela. Il demeure habité, restauré génération après génération, toujours par les mêmes mains.