A partir du XIe siècle, la ville - perchée sur son promontoire pour des raisons défensives - commence à prendre de l’ampleur. Un bourg se forme autour du château, de l’hôpital et de la chapelle. Et avec la fortification de la ville au XIIIe, de plus en plus d’habitants viennent s’installer derrière ses remparts. La cité est habitée par des nobles, des artisans et des commerçants, alors que dans la plaine en contrebas se trouvent deux autres bourgades, plus agricoles.

Cette séparation se retrouve encore actuellement. Jusqu’à la fin du siècle dernier, Orbe a ainsi vécu la vie paisible d’un gros bourg, mi-citadin, mi-agricole, où l’artisanat et la petite industrie étaient florissants. La construction d’une fabrique de chocolat dans les années 1900 - qui marque le tournant important de la véritable industrialisation de la région - s’est précisément faite dans la plaine, en contrebas de la vieille ville.