Avallon porte un nom qui vient du gaulois, et ce nom raconte une histoire de vergers. Aballo signifiait « pommier », et la terminaison -on localise le lieu: c'est « la pommeraie », le verger. Ce nom a circulé sur les monnaies des Éduens au IVe siècle, et il figure sur les cartes romaines comme Aballone ou Aballo, puisque la ville était un arrêt de la via Agrippa, la grande route qui reliait Lyon à Boulogne-sur-Mer.
À l'époque romaine, Avallon n'était pas un simple carrefour. Elle disposait d'un temple, d'un tribunal et d'un théâtre. C'est qu'elle attirait les riches familles gallo-romaines venues d'Autun, attirées par les sources abondantes du Morvan et ses immenses forêts. Le site lui-même était déjà occupé bien avant, puisqu'un oppidum des Éduens s'y dressait.
Aujourd'hui, Avallon demeure bâtie sur une haute colline rocheuse, où se dressent encore ses deux principaux monuments: l'église de Saint-Lazare et la tour de l'Horloge. Des murailles défensives bien conservées bordent la ville. L'historien Victor Petit, au XIXe siècle, notait que la ville n'était vraiment belle que vue de la vallée, et la vallée elle-même que vue de la ville, tant la topographie du site façonne chaque perspective. Les escarpements de roches granitiques qui plongent vers le fond de la vallée du Cousin encadrent toujours ce paysage de colline fortifiée que les Romains avaient déjà reconnu comme un lieu de passage incontournable.