Bývalá partnerka Wima Hofa tvrdí, že slávny otužilec bol agresívny alkoholik, ktorý týral ju aj ich deti. Caroline Hofová holandskému denníku Volkskrant tvrdila, že týranie je dôvodom, prečo sa s Wimom dodnes nestýka jeho 21-ročný syn Noah. Hof bol v roku 2012 odsúdený za násilie na inom dieťati.
V roku 2012 bol Hof uznaný za vinného z domáceho násilia voči 18-ročnému dieťaťu jeho vtedajšej priateľky Caroline. Bol odsúdený na štyridsať hodín verejnoprospešných prác a pokute 350 eur.
Hof bol raz ženatý. V roku 1995 jeho manželka Olaya, ktorá trpela schizofréniou, skočila z ôsmeho poschodia domu a zabila sa. Majú spolu štyri deti. Hof tvrdí, že extrémny psychický stres ho priviedol k otužovaniu.
