Huset bliver også kaldt tegnemesterens hus.

Her boede fra 1777 tegnemester Troels Pedersen, efter hvem huset har fået sit navn. Huset blev antagelig bygget i 1736 og tilhørte bl.a. berider ved Sorø Akademi, Heinemann og professor Schlegel. Midt i 1800-tallet er der foretaget nogle ændringer.