À partir du début du XIIe siècle, le château de Tancarville fut le siège principal d’un des plus puissants lignages du Pays de Caux au temps des ducs, celui des chambellans de Normandie. Cette famille de grands officiers de la couronne était déjà possessionnée dans la région de Lillebonne vers le milieu du XIe siècle ; mais c’est seulement peu après 1100 qu’elle prit le nom de la terre de Tancarville et que le château apparaît pour la première fois dans les textes.
Le château occupe l’extrémité d’un éperon triangulaire qui se détache du coteau de la Seine. Un fossé large et profond le sépare du plateau. De l’époque ducale ne subsistent que l’énorme motte sur laquelle se dressent les ruines de la « Grosse-tour » du XVe siècle, peut-être quelques éléments de maçonnerie visibles dans un arrachement de mur à l’angle sud-est de cette tour, et enfin l’imposante tour résidentielle du XIIe siècle, dite « Tour-carrée », qui s’élève à l’angle nord-ouest de l’enceinte. Pour le reste, l’essentiel des parties médiévales remonte à une reconstruction de la fin du XIVe et du début du XVe siècle.