Judge’s House byggdes 1787 och utgör en viktig del av S:t Barths rättsliga och administrativa historia under den svenska kolonialtiden. Bostaden uppfördes för öns domare, som hade den betydelsefulla positionen som chefsrepresentant för ”Westindiska Kompagniet” (West Indies Company). Detta handelsbolag hade monopol på handeln med den svenska kolonin under de första 15 åren av svenskt styre, vilket gjorde dess representant till en av de mäktigaste personerna på ön. Efter att domaren gått i pension 1833 minskade byggnadens värde avsevärt och man övervägde att riva den.
Byggnaden fick dock ett nytt syfte när guvernör James Harlef Haasum valde den som sitt residens. Byggnadens historia tog en ny vändning när den såldes till hamnkapten Carl Johan Ridder Hierta, som sedan överlät ägandet till den franska staten. Idag står domarhuset som ett vittnesbörd om de komplexa administrativa och kommersiella relationer som präglade S:t Barths svenska period.
