Ako šesťnásťročného ho z akadémie Sheffieldu Wednesday vyhodil jej riaditeľ. Jaime chcel s futbalom skončiť a osem mesiacov si kopačky neobul. Aby sa uživil, začal pracovať v továrni na výrobu protéz pre hendikepovaných ľudí. Až jeho kolega ho presvedčil, aby skúsil aspoň amatérsky futbal. V drese Stocksbridge Park Steels dostával tridsať libier za zápas.
V roku 2010 sa dostal do problémov po tom, čo sa zapojil do bitky na ulici. „V tú noc som bol vonku s kamarátom, ktorý nosil načúvaciu pomôcku. Nejakí dvaja chlapi si mysleli, že je zábavné robiť si z neho žarty a útočiť naňho,“ opisoval udalosti neskôr samotný hráč.
Svojho kamaráta sa zastal a bitku musela prerušiť až polícia. Súd Jamiemu uložil trest domáceho väzenia, čo znamenalo, že od šiestej večer do šiestej ráno nemohol opustiť svoj dom.
Nielen život Vardyho bol plný prekážok. Aj jeho manželka Rebekah si prešla cestou plnou starostí.
V najnovšom rozhovore pre denník The Sun priznala, že sa dvakrát pokúsila o samovraždu. Rebekah prezradila, že ju tri roky zneužíval rodinný priateľ, čo u nej vyvolalo depresiu a zlé životné rozhodnutia.
"Už som viac nechcela žiť. Cítila som to tak ako keby som ja urobila niečo zlé. Zmenilo to samozrejme môj život, keďže som robila zlé rozhodnutia. Mala som pocit, že si nezaslúžim byť šťastná," povedala v rozhovore pre The Sun.
"Teraz o tom hovorím, preto, lebo som na očiach verejnosti. Ľudia sa ma začali pýtať na môj život a momentálne som dosť silná na to, aby som im povedala môj príbeh a pokúsila sa pomôcť ostatným obetiam," vysvetlila dôvody svojho rozhodnutia hovoriť o nepríjemných veciach.