Kim bol určitú dobu druhým najdôležitejším mužom Južnej Kórey po vtedajšom diktátorovi Pak Čong-hiovi, ktorý stál na čele Južnej Kórey 18 rokov až do svojho zavraždenia v októbri 1979.
Kim sa stal jeho švagrom a zároveň šéfom KCIA, ktorú sám založil. Za Paka a znovu v rokoch 1998 až 2000 za prezidentovania skoršieho disidenta Kim Te-džunga vykonával aj funkciu predsedu vlády.
Keď úradoval Pak, uniesli Kim Te-džunga do Južnej Kórey z jeho vtedajšieho tokijského exilu. Z neskôr zverejnených dokumentov vyplýva, že za akciou stála KCIA. Pred prezidentskými voľbami v roku 1997 uzavrel ale Kim Te-džung s Kim Čong-pchilom mocenský pakt a vyhral ich.