Noyers porte un nom qu'on prononce Noyère, et c'est un bourg médiéval préservé qui a gardé ses proportions d'autrefois, dominé par les masses de son église et de son collège du dix-septième siècle.
Ce qui l'a sauvé, c'est d'abord une rivière capricieuse. Le Serein serpente en méandres et crée des zones inondables qui ont découragé l'urbanisation moderne. À distance des grandes routes, Noyers a échappé aux destructions des guerres, de l'industrie, des zones commerciales. Ses soixante-dix-huit bâtiments classés datent pour l'essentiel du quinzième siècle et n'ont presque pas été remaniés depuis.
Mais avant d'être cette cité figée dans son propre passé, Noyers a connu une histoire de puissance. Au Moyen Âge, la famille de Noyers dominait la région. Guy de Noyers devint archevêque de Sens et couronna Philippe Auguste en 1180. Hugues de Noyers, évêque d'Auxerre, transforma le château primitif en forteresse à triple enceinte, que les chroniques appelaient « un des plus fiers castels de France ». Plus de quatre-vingts fiefs en dépendaient.
Cette puissance s'effondra. Henri IV décida de démolir le château en 1599. Puis, au dix-huitième siècle, Louis XVI déplaça la route nationale pour favoriser son intendant. Ce détour suffit à précipiter le déclin de la ville. Noyers perdit son importance commerciale et devint ce qu'elle est restée: une cité figée, préservée non par sa richesse mais par son isolement, avec ses places aux noms de négoce oublié: Place du Marché-au-Blé, Place du Grenier-à-Sel, Place de la Petite-Étape-aux-Vins.