V posledných rokoch mal Jimmy Carter viacero zdravotných problémov. V roku 2015 mu diagnostikovali rakovinu mozgu i pečene a podrobil sa úspešnej operácii a rádioterapii. V máji 2019 spadol vo svojom dome v štáte Georgia a utrpel zlomeninu v oblasti bedrového kĺbu. Niekoľko týždňov predtým si doma pri páde poranil hlavu.
Carterovo centrum 18. februára 2023 oznámilo, že bývalý americký prezident prešiel do tzv. domácej hospicovej starostlivosti. Rozhodol sa tak po sérii krátkych pobytov v nemocnici, pretože chce "stráviť zvyšný čas doma so svojou rodinou a namiesto ďalších lekárskych zásahov podstúpiť hospicovú (respektíve paliatívnu) starostlivosť".
Odvtedy sa exprezident Carter objavoval na verejnosti veľmi zriedkavo. Dňa 28. novembra 2023 sa v kostole Glenn Memorial v Atlante zúčastnil na poslednej rozlúčke so svojou zosnulou manželkou Rosalynn Carterovou. Bývalá prvá dáma USA zomrela 19. novembra 2023 vo veku 96 rokov a s Carterom tvorili manželský pár 77 rokov.
