L’aspect stratégique des cols a très vite été l’objet de préoccupations de nature militaire. Du côté suisse, Bourg-St-Pierre, dernière étape helvétique avant le passage du col, est rapidement devenu un lieu de surveillance. Incontournable, il constituait le seul point de passage à travers les gorges du Valsorey. Les étroites gorges au fond de la vallée, ainsi que les flancs escarpés recouverts de forêts sauvages, ne permettaient pas de passer ailleurs, ou alors seulement de manière fort difficile et périlleuse.

L’importance stratégique de Bourg-St-Pierre lui a rapidement valu d’être fortifié, à l’instar d’autres cluses qui contrôlaient les cols alpins. La première étape dans la fortification du bourg remonte à l’époque carolingienne (VIIIe au Xe siècle). Le pont, réalisé à cette époque, permettait d’accéder au village en traversant la muraille.

Plus tard, deux châteaux ont dominé ce passage. Le premier, dont les ruines subsistent sur la rive droite, aurait appartenu à la famille d’Allinges. Le second, dont il ne reste plus rien, aurait été la propriété des seigneurs de Quart. Il s’élevait sur la colline qui est aujourd’hui occupée par le jardin botanique de la Linnea. Ces éléments défensifs rappellent l’organisation féodale qui, dans la région, était dominée par le lointain comte de Savoie.