Le château, le prieuré et les défenses du XIIe siècle furent commandités par la famille Warenne.
Après 1066, Guillaume le Conquérant encouragea Guillaume de Warenne, chevalier normand ayant combattu à Hastings, à s'installer et à installer son pouvoir dans le Norfolk, où le nouveau roi s'était approprié des terres. Premier comte du Surrey, Guillaume de Warenne fit édifier le château de Castle Acre comme forteresse et résidence noble. Acre étant déjà peuplé, il est probable qu'il choisit cet endroit à cause de sa situation géographique au centre du comté.
Les premières défenses de la cour intérieure consistèrent en la construction d'un corps de garde en pierre et d'une palissade de bois, entourées d'un fossé. Le château fut radicalement transformé aux alentours de 1140, durant la période troublée où Étienne de Blois et Mathilde l'Emperesse se disputaient le trône. Les travaux commencèrent sous Guillaume III de Warenne, troisième comte du Norfolk. Le château fut consolidé, sa hauteur rehaussée, afin de le convertir en une puissante tour normande. Les murs furent élargis, les remparts furent rehaussés et un mur en pierre fut ajouté. Les défenses de la cour intérieure furent encore davantage renforcées vers 1165.
Autour de 1080, Guillaume de Warenne installa un petit groupe de moines au prieuré de Saint-Pancras, à Lewes, près de sa résidence d'Acre. Vers 1090, le site actuel du prieuré fut attribué aux moines par Guillaume II, deuxième comte du Surrey et fils aîné de Guillaume Ier. Des rentes furent attribuées pour financer un monastère complet et la construction de l'espace monastique démarra. Pendant presque 450 ans, le prieuré de Castle Acre abrita des moines et leurs domestiques, fut un refuge pour les pèlerins et servit de résidence temporaire à des souverains, des membres du clergé ou de la noblesse.
De nos jours, les bâtiments du prieuré sont parmi les mieux conservés d'Angleterre. Dans le village actuel, on devine encore les défenses du village médiéval. Tout ce qui reste du château sont les mottes imposantes qui délimitaient la structure originale de la motte castrale.