I 1854-55 anlagdes Banevejen, forbindelsen mellem byen og en station på den nyanlagte jernbane Roskilde - Korsør. Banevejen, hvoraf en del er en dæmning over Sorø sø, blev anlagt over en ø, kaldet Gåseø, for at få mest mulig fast grund. Derved fik vejen et knæk, og den skilte den egentlige sø fra et stort sumpet område mellem Sorø Sø og Tuel Sø. Sorø fik således den længste stationsvej i landet, knap 2 km. Indtil da havde byen kun haft forbindelse med omverdenen mod nord og via Hovedvejen. I begge sider af Banevejen, og på dæmningen blev plantet træer, så man kunne finde vej om natten.

Den del af vejen, der var nærmest byen, blev kaldt Priorgade, da den gik over Priorvænget. Her opstod sidst i 1850-erne en række huse, typiske for den tid.