Sjømilitære Samfund er foreningen stiftet i Stavern i 1835. Da marinens hovedbase ble flyttet til Karljohansvern i Horten, flyttet foreningen med. De leide klubblokaler de første årene men etter hvert kom behovet for egne lokaler. Ved økonomisk hjelp av medlemmer og andre rundhåndede ble Samfundsbygningen oppført av byggmester H. Hansen fra Christiania. Hovedbygningen stod ferdig til innvielse 15. november 1883. Her finner man ærverdige saler til selskaper samt 8 hotellrom i andre etasje. Her hadde offiserene sine klubbaftener, ball og soiréer. De kunne komme for overnatting, et måltid, en drink i baren eller et slag biljard. Da marinens hovedbase ble flyttet til Bergen rundt 1960 endret aktiviteten i huset seg. Det ble åpnet opp for at sivile kunne leie seg inn for selskaper, møter, overnatting og øvrige sammenkomster. I 2017 stod hotell «Carl Johan» klar til innvielse som en del av det totale anlegget. Med 39 hotellrom og stor kurs- og konferanseavdeling er tilbudet blitt adskillig større enn opprinnelig – men historien, den er godt bevart. Samfundsbygningen har hatt ulike vertskap gjennom årene. Dagens vertskap, Torill Krosvollen Thorsen og Stig Thorsen overtok driften i 2004. De er, sammen med sin stab, stolte av den historiske perlen de forvalter og er klare til å ta imot deg som gjest.