Varberg har alltid varit en kurort och redan 1866 byggdes det första kallbadhuset vid hamnen. Detta första kallbadhus förstördes i en storm 1884 men redan två år senare var det andra kallbadhuset färdigt, byggt på samma plats som det första. Julstormen 1902 träffade Varberg hårt och kallbadhuset förstördes återigen. 1903 stod det tredje kallbadhuset klart och det är det som fortfarande finns kvar. I mitten av 90-talet renoverades exteriören till sin ursprungliga moriska design. Stormen Gudrun 2005 och de efterföljande stormarna på västkusten har orsakat skador på kallbadhuset men inte så allvarliga utan det har gått att renovera istället för att bygga nytt en fjärde gång.

Kallbadhuset är ett välbesökt utflyktsmål och det är öppet sommar & vinter och där nakenbadar men året om. Kallbadhuset är ett av Varbergs mest fotograferade hus och har synts både på reklamaffischer för Varberg och mellan reklampauser i TV3. Läs mer om kallbadhuset här.