Le château d'Ivry montre l'apparition en Normandie du modèle des grands donjons quadrangulaires dès l'époque du duc Richard II, vers 990 / 1010, près d'un demi-siècle avant l'époque de Guillaume le Conquérant. Les ducs Richard Ier (942-996) et Richard II (996-1026) s'appuient sur les membres de leur famille, les richardides, qui deviendront les adversaires du jeune duc Guillaume. En 1030, Robert le Magnifique, enlève Ivry à son cousin Hugues, évêque de Bayeux, et Guillaume veillera à conserver cet important château en frontière du duché.
Le château d'Ivry est construit sur un éperon barré d'un fossé dont le site commande le passage de la rivière l'Eure. Il présente en apparence des dispositions classiques avec une enceinte haute et une basse-cour dont la chronologie n'est pas totalement établie. La pièce majeure est la grande tour, prototype des grands donjons / résidences anglo-normands. Les vestiges des murs de cette tour montre une maçonnerie ancienne, en arêtes de poisson (Xe-XIe s.) et permettent de reconstituer un édifice impressionnant avec une organisation présentant un rez-de-chaussée et un étage noble. On y reconnaît les dispositions des palais carolingiens (Xe s.) : grande salle de réception, appartements privés et chapelle à abside saillante, qui vont être adaptées au renforcement des fonctions militaires pour la construction des grands donjons quadrangulaires angevins (dès la fin du Xe s.) et anglo-normands (XIe-XIIe s.).
Les textes mentionnent des tours contemporaines de celle d'Ivry, à Rouen ou à Bayeux, mais les vestiges n'en ont pas été conservés. La tour d'Ivry a connu en réalité plusieurs phases d'aménagement successives dont les archéologues débattent encore. Mais on note dans le plan de la Tour de Londres et du donjon de Colchester, des similitudes frappantes dans l'aspect monumental et la présence de la chapelle à abside saillante. Il est possible que ce type de plan ait été mis au point à Ivry, dès l'origine, ou après que le duc ait repris le contrôle du château, et en tous cas avant la transposition de ce modèle en Angleterre.