Du XII ème siècle, il est le monument le plus ancien de la ville.
Donjon du premier château comtal, de type roman, il a été transformé en beffroi, symbole des libertés communales, au début du XIIIème siècle.
En 2005, il a été classé au Patrimoine Mondial de l'Humanité par l'UNESCO.
A l'intérieur, un petit musée lapidaire a été aménagé.

Le beffroi (inscrit sur la liste du patrimoine mondial de l'UNESCO) surplombe la Ville fortifiée. Il s'agissait à l'origine du donjon du premier château connu des comtes de Boulogne, attribué à Renaud de Dammartin (fin XIIe siècle). Ses salles accueillent un musée lapidaire (vitrail de Godefroy de Bouillon, boulets de pierre et de fonte, puits...)