Nie však preto, že ho nedôstojne vyhodil z Novej scény, ale preto, že Hryca považoval za rodinného priateľa a dôveroval mu. Práve jeho vinou však skončil herec bez práce a štyri dlhé roky sa pretĺkal životom v chudobe. Štefan Kožka patril medzi najobsadzovanejších hercov. Zlom v jeho kariére nastal v roku 2000, keď ho vyrazili z Novej scény. Herec ostal bez príjmu a jeho druhá manželka Zuzka tiež nemala stabilné zamestnanie.
„Trvalo to štyri roky a naozaj sme nemali peniaze ani len na rožky. Rozbíjali sme deťom „pokladničky, aby sme si ich mohli kúpiť," spomína na ťažké chvíle herec. „Nebol som urazený, že ma z divadla vyhodili, navyše neoprávnene a nekorektne, ale že zneužili moju dôveru, rodinné priateľstvo a pripravili moje deti o živobytie,“ povedal pre Nový Čas Nedeľa Kožka, ktorý nesúhlasil s privatizáciou divadla a tak skončil na dlažbe.
Vo vedení Novej scény boli v tom čase Andy Hryc s dcérou Wandou. Podľa hercových slov to boli práve oni, kto sklamal jeho dôveru a kto ho pripravil o prácu. Dostalo sa mu však zadosťučinenia. „Dal som Novú scénu na súd, ktorý po štyroch rokoch rozhodol, že som dostal výpoveď neoprávnene,“ dodal Kožka, ktorého prijali späť do divadla a je tam až dodnes.