Rexhepi zomrel v nemocnici v Istanbule, kam ho previezli z Prištiny, kde po chirurgickom zákroku upadol do kómy a jeho stav bol kritický.
Rexhepi pochádzal z Kosovskej Mitrovice a bol popredným predstaviteľom Demokratickej strany Kosova (PDK). Povolením bol lekár. Na čele kosovskej vlády bol od marca 2002 do decembra 2004. Od apríla 2010 do decembra 2014 pôsobil ako minister vnútra.