Le château fut édifié pour renforcer l'angle ouest des fortifications.

Au XVe siècle, propriété des sires de Greysier-Féterne, branche cadette de la Maison des sires de Faucigny, le château passera par alliance à la famille des Rovorée puis au Monastère du Grand-Saint-Bernard dit de Montjoux, d'où son nom actuel.
Victime d'un incendie en 1557, il sera réaménagé et entretenu jusqu'à la fin du XVIIIe siècle.

Ce château connut bien des déboires :
En 1752 il fut le siège d'une commanderie mauricienne.
En 1791 il est vendu au comte Janus de Sonnaz.
Pendant la révolution, il est mis sous séquestre et sera affecté à un usage industriel : il deviendra tannerie, puis poterie.
A la moitié du XIXe siècle, il devient un entrepôt pour le plâtre.
En 1920 il redevient une résidence privée.
Pendant la seconde guerre mondiale il sera réquisitionné pour y cantonner une partie des troupes d'occupation.
Plus tard il passera dans les mains d'autres propriétaires qui le transformeront en une éphémère école privée "Saint-Exupéry".
En 1999, il sera cédé à la ville de Thonon par la famille Lugon...