Vo svojich nových pamätiach priznal, že o panictvo prišiel s prostitútkou, keď mal 12 rokov. Stalo sa tak na rodinnej dovolenke v Taliansku, kam cestoval so svojou matkou a nevlastným otcom. Na rohu ulice vraj uvidel stojacu prostitútku v krátkej sukni a zo svojho vreckového dal žene pätnásť libier, aby s ním súložila.
Gróf Spencer to odhaľuje vo svojich knižných pamätiach A Very Private School (Moja veľmi súkromná škola). Charles v nich píše, že sa po tejto skúsenosti cítil prázdny a chladný a že s ďalšou ženou mal intímny vzťah až po ďalších piatich rokoch, teda v sedemnástich.
V jeho autobiografii tiež stojí, že bol v 11 rokoch sexuálne zneužitý asistentkou zdravotnej sestry na internátnej škole. "Táto žena úplne ovládala zhypnotizovaných chlapcov, pretože sme túžili po ženskom teple a po jej náklonnosti. Účinok toho, čo mi robila, bol hlboký a okamžitý, prebudilo to vo mne základné túžby, ktoré u tak mladého človeka nemali čo robiť," uvádza gróf vo svojej knihe.
Spencer po základnej internátnej škole zamieril na Eton College a neskôr vyštudoval históriu na Oxfordskej univerzite. Pracoval ako novinár a hlásateľ pre NBC News a britskú ITV Granada. Pamäte tretíkrát ženatého otca siedmich detí majú vyjsť 12. marca.
