Raoul de Gaël hérita de son père son titre et ses terres, situées en Angleterre et en Bretagne. Comte de Norfolk et connétable du château de Norwich, c'est à lui que l'on doit les premiers travaux de construction et la charpente, réalisés autour de 1067. Il fonda également, avec Guillaume le Conquérant (Guillaume 1er) un bourg franco-normand s'étendant autour de la place du marché dans la ville. En 1075, le roi ne consentant pas à son mariage avec Emma FitzOsbern, ses rapports avec lui se détériorèrent. La rébellion fomentée fut rapidement mise en échec par les troupes du roi. Raoul s'enfuit à Norwich, puis se rendit au Danemark où il chercha à rallier ses alliés continentaux. En 1076, le château de Norwich fut pris et Guillaume chassa Raoul jusqu'en Bretagne. Bien que ses terres lui aient été confisquées et qu'il ait été déchu de son titre, Raoul finit par faire la paix avec le roi et demeura un personnage puissant en Bretagne.