"Za svoje šťastie ďakujem Silvii," vyhlásil raz. Krásnych žien prešlo životom vcelku nesmelého budúceho panovníka niekoľko, až v roku 1972 na olympijských hrách v Mníchove padol jeho zrak na hostesku Silviu a bolo rozhodnuté: "Táto a žiadna iná." Silvia Sommerlathová, očarujúca dcéra nemeckého podnikateľa a Brazílčanky, nijako neprotestovala.
Po svadbe v roku 1976 sa im narodili tri deti - korunná princezná Victoria (1977), Carl Philipp (1979) a Madeleine (1982). Posielali ich do bežných švédskych škôl. Madeleine sa v júni 2013 vydala za amerického bankára Christophera O'Neilla, Carl Philipp sa v júni 2015 oženil so Sofiou Hellqvistovou.
Karol XVI. Gustáv v roku 2019 odobral kráľovské statusy všetkým vnúčatám, okrem detí korunnej princeznej. Deťom princeznej Madeleine a princa Carla Philipa síce ponechal tituly princa alebo princeznej, ale stali sa titulmi osobnými, čo znamená, že na ne nebudú mať právo ich budúci manželia a deti.
Z námorníctva si Karol XVI. Gustáv odniesol slabosť pre rýchle vojenské člny. Na jednom z nich dodnes brázdia štokholmské kanály. A keby nebol kráľom, stal by sa podľa svojich slov pravdepodobne farmárom.
