Varberg har länge varit en av Sveriges främsta kurorter. Redan på 1820-talet fanns en flytande bassäng i hamnen och på 1850-talet ersattes badflottarna av fasta bassänger på pålar.

År 1866 byggdes det första riktiga kallbadhuset, ritat av Wilhelm Gagner. Det förstördes i stormen 1884, följt av ett nytt badhus 1886 som slogs i spillror av julstormen 1902.

Dagens badhus restes 1903 och restaurerades varsamt 1994-1996 innan det återinvigdes 1997. Sedan 2021 ägs fastigheten av Varbergs Fastighets AB och underhållet sker med stor respekt för byggnadens kulturhistoriska värde.

Kallbadhuset är öppet året runt. Här möts hav, värme och gemenskap i en miljö som rymmer både bad, bastu och fika.