Saint-James porte un nom qui cache une métamorphose. Jusqu'au XIe siècle, le bourg s'appelait Beuvron, du nom de la rivière qui le traverse. Ce nom vient du celtique bebros, qui désignait un cours d'eau où vivaient les castors. L'ancien français a gardé la trace: bièvre signifiait castor.
Mais le château change tout. Guillaume le Conquérant, à partir de 1067, fait édifier ici l'une des places fortes les plus puissantes de Normandie. Il ne s'agit pas d'une forteresse ordinaire: Guillaume noie la vallée du Beuvron en plusieurs endroits, crée un jeu de digues pour renforcer la protection à l'ouest. C'est une machine de guerre contre les attaques bretonnes, qui contrôlaient alors l'Avranchin.
Le château tient bon. Pendant la guerre de Cent Ans, les Anglais s'en emparent et l'occupent quarante ans. En 1449, l'armée royale de Charles VII le reprend au bout de six jours. C'est à ce moment que le bourg change de nom et devient Saint-James, sans doute en l'honneur d'une chapelle ou d'un culte local.
Entre ces deux rôles, celui de forteresse et celui de ville, Saint-James a aussi été une ville drapière du Xe au XVIIIe siècle, et une halte pour les pèlerins qui se dirigeaient vers le Mont-Saint-Michel. Le château a fermé ses portes défensives à la fin du XVe siècle, mais le nom du castor, transformé en saint, a survécu.