Sur son promontoire entouré par la rivière, la ville est facile à défendre, mais d’accès malaisé. Un premier pont en bois est construit sur l’Orbe à l’est de la cité... mais chaque crue le détruit. Cette situation pousse un ermite, qui vit dans les rochers au bord de la rivière, à battre la campagne à la recherche de dons pour en construire un autre, en pierre. La ville complète finalement le montant, en créant un impôt spécial... sur les feux.

Dès 1424, Orbe jouit ainsi d’un nouvel accès par le sud qui facilite la vie de ses habitants et les échanges commerciaux. Pour accéder à ce pont, les véhicules doivent emprunter la pentue rue des Moulinets. Afin de freiner les chars dans la descente, leurs conducteurs leur mettent littéralement des bâtons dans les roues. Mais le glissement des roues sur la terre creuse de larges ornières.

Les Bernois interdisent rapidement cette pratique et imposent de mettre un sabot en bois  sous les roues, afin de protéger la route. Cet avertissement est encore lisible sur une borne située à côté de l’ancien hôpital.

Aujourd’hui, le pont du Moulinet est le plus vieux pont de pierre parfaitement conservé de Suisse. Ce passage a été supplanté par le Grand Pont, mais il demeure dans le coeur des habitants de la cité.