Zmluvu SALT II podpísal 18. júna 1979 vo Viedni s Carterom vtedajší najvyšší sovietsky predstaviteľ Leonid Brežnev. Po invázii Sovietskeho zväzu do Afganistanu v tom istom roku však americký Senát odmietol zmluvu SALT II ratifikovať.
Carter sa uchádzal o prezidentský úrad aj vo voľbách 4. novembra 1980, avšak neúspešne. Porazil ho republikán Ronald Reagan pomerom hlasov 50,8 % : 41 %.
Po odchode z Bieleho domu založil Carter v roku 1982 spoločne s manželkou Rosalynn Carterovo centrum, ktoré sa už viac ako štyri desiatky rokov angažuje v podpore ľudských práv, pri riešení konfliktov, monitorovaní volieb, ako aj v zdravotníckej oblasti.
V marci 2019 sa stal najdlhšie žijúcim prezidentom v dejinách Spojených štátov. Dovtedajší "rekordér" George H. W. Bush zomrel 30. novembra 2018 vo veku 94 rokov.
