L’autorité royale est représentée à Caen par un bailli, qui incarne le pouvoir judiciaire du roi. Également capitaine du château de Caen, il réside dans le « Logis du roi ». Jacques de Silly, également grand maître de l’artillerie de France, occupe ce poste à la fin du XVe et au début du XVIe siècle. Son fils François lui succède en tant que bailli en 1503, puis en tant que gouverneur en 1515. Face aux progrès de l’artillerie, il décide de renforcer les murailles du château de Caen, en amassant d’énormes talus de terre le long des remparts, à l’intérieur de la forteresse. C’est également à François de Silly que l’on doit la reconstruction du chœur de l’église Saint-Georges, où il fait apposer ses armes sur une des clefs de voûte. Les travaux entrepris par François de Silly s’inscrivent dans un chantier plus important, qui voit le château de Caen devenir une citadelle.