La maison du gouverneur, qui figure sur le plan de la ville de Samuel Fahlberg en 1799, occupe la parcelle numéro 34 dans ce qui était connu sous le nom de quartier suédois. Construite à l’origine pour servir de poste de douane, elle présente une conception sophistiquée à double usage, avec l’appartement du directeur à l’étage supérieur et les bureaux administratifs au rez-de-chaussée. L’histoire du bâtiment reflète l’évolution de la période suédoise de Saint-Barth. Lorsque les privilèges de la Compagnie suédoise des Indes occidentales ont pris fin en 1805, la propriété a été transférée à la Couronne suédoise et Samuel Fahlberg y a établi son bureau.
En 1844, la solidité du bâtiment en a fait un choix évident pour la rénovation lorsqu’une autre résidence officielle a dû être remplacée. La rénovation de 1862 a précédé la résidence du gouverneur Carl Ulrich et de son épouse Edla, pendant laquelle Edla a créé un précieux témoignage historique grâce à ses aquarelles sur la vie de l’île. Après le retour de Saint-Barth à la France en 1878, le bâtiment a servi d’hôtel de ville jusqu’en 2001, conservant son importance administrative pendant plus d’un siècle.
