Guvernörshuset, som finns med på Samuel Fahlbergs stadskarta från 1799, ligger på tomt nummer 34 i det som kallades Svenska kvarteret. Huset byggdes ursprungligen som ett tullhus men fick en sofistikerad design med dubbla funktioner, med direktörens lägenhet på övervåningen och administrativa kontor på nedervåningen. Byggnadens historia speglar de skiftande förmögenheterna under den svenska perioden på St Barth. När Svenska Västindiska Kompaniets privilegier upphörde 1805 övergick ägandet till den svenska kronan och Samuel Fahlberg etablerade sitt kontor här.
År 1844 gjorde byggnadens robusta konstruktion den till det självklara valet för renovering när en annan officiell bostad behövde bytas ut. Renoveringen 1862 föregick guvernör Carl Ulrich och hans fru Edlas residens, under vilket Edla skapade ett värdefullt historiskt dokument genom sina akvarellmålningar av livet på ön. Efter att S:t Barth återlämnats till Frankrike 1878 fungerade byggnaden som rådhus fram till 2001 och behöll därmed sin administrativa betydelse i över ett sekel.
