Saint-Sauveur-le-Vicomte était au XIe siècle le siège de la vicomté de Cotentin, donnée aux Néel, fondateurs de l’abbaye bénédictine de Saint-Sauveur en 1067. Néel II, pour avoir participé en 1047 au complot des barons de Normandie occidentale contre le jeune duc Guillaume, qui se conclut par leur défaite du Val-ès-Dunes, perdit sa vicomté, fut puni de sept années d’exil, avant de retrouver ses biens mais non sa fonction. Saint-Sauveur passa au XIIe siècle aux Taisson puis aux d’Harcourt. L’un des cadets, Godefroy, en hérita au début de la guerre de Cent Ans à laquelle il prit une part active... du côté anglais. A sa mort il légua sa baronnie à Edouard III d’Angleterre qui y nomma l’un de ses meilleurs capitaines, John Chandos. Le château de terre et de bois des Néel a fait place au XIIe siècle au gros donjon carré épaulé de contreforts plats qui s’élève à l’angle sud-est, au-dessus de la vallée de la Douve.
Au XIIIe siècle on ajouta au sud-ouest le gros bastion de la Batterie, dit encore le Vieux Donjon, ce qui semble indiquer que le donjon roman avait été en grande partie démantelé. Au XIVe les courtines, les châtelets et les tours de flanquement des basse et haute cours furent reprises et renforcées par Godefroy d’Harcourt et John Chandos. Le donjon fut aussi en partie réédifié, et couronné de mâchicoulis et de créneaux. C’est au XVIe siècle que l’on a construit sur sa plate-forme sommitale la maisonnette à l’esthétique douteuse qui le coiffe de façon inattendue.