L'imposant donjon de Castle Rising fut bâti vers 1140 par un membre de la noblesse normande, Guillaume d'Aubigny. Des vestiges d'une ancienne église de style normand furent découverts dans la cour intérieure, au nord de la tour. Il est probable qu'elle fut également édifiée sur les ordres Guillaume d'Aubigny, bien que la relation entre le Château et l'église ne soit pas claire.
Rising fut attribué à Guillaume d'Aubigny par Guillaume le Roux, en récompense de sa loyauté envers le roi. Ce fut Guillaume II d'Aubigny, fils et héritier du précédent, qui transforma le hameau sans intérêt en une splendide résidence seigneuriale. Un an avant la construction du Château, Guillaume II d'Aubigny épousa Alix (ou Adélaïde) de Louvain, veuve du roi Henri 1er Beauclerc. Celle-ci fournit un certain statut à Guillaume d'Aubigny, qu'il essaya d'exprimer dans son château.
Ainsi, le Château fut largement inspiré du château royal de Norwich. Il était entouré de vastes mottes, et un pont de pierre surplombait le fossé intérieur, menant au corps de garde, dont de beaux vestiges sont encore présents. Dans la cour intérieure se trouvait un donjon résidentiel à deux étages. On y pénètre à l'étage par un escalier encloisonné richement orné qui mène à une antichambre fastueuse. Le grand hall, la cuisine, la chapelle, la chambre et la galerie sont situés au deuxième étage. Le rez-de-chaussée était utilisé comme cellier.
En 1141, Guillaume II d'Aubigny devint comte du Sussex et d'Arundel et fit édifier de splendides donjons ronds à Arundel (West Sussex) et à New Buckenham (Norfolk).