”De Unge Herrers Gaard” byggedes som bolig for Chr. IV’s børn, mens de gik på Akademiet:

I 1624-26 den 13-årige Chr. Ulrik Gyldenløve. Den 9-årige Hans Ulrik Gyldenløve i årene 1624-31. I årene 1625-27 kom sønnen Frederik (senere Fr. III). Ligeledes i 1625-27 kom hertug Ulrik. I 1630-36 kom Valdemar Christian, i 1642-44 og igen 1645-48 Ulrik Christian.

Med sig havde de kammerjunkere, pager og et hof af tjenestefolk, så der var brug for megen plads.

I 1637 blev ”De unge Herrers Gård” skænket til Akademiet, da kongen ikke mere ville benytte huset. Oprindelig gik bygningen helt hen til Torvet. I 1800-tallet har der bl.a. været bryggeri, købmandshandel og mejeri. Siden 1926 har der været bibliotek.