A tak nečudo, že aj pápeži musia dovolenkovať. Už od 17. storočia sa utiekajú do letného sídla Castel Gandolfo, ktoré leží na skok od preľudneného Ríma. Stále si zachováva ráz pokojného miesta medzi zelenými kopcami nad azúrovomodrým jazerom. A sčasti je toto miesto prístupné aj turistom. Na mieste dnešného Castel Gandolfo existovalo v staroveku mesto Alba Longa, ktoré zaniklo až po dobytí Rimanmi v 7. storočí pred naším letopočtom. Neskôr tu stál stredoveký hrad, a keď čarovné miesto navštívil v roku 1626 pápež Urban VIII., rozhodol sa zriadiť tu letné pápežské sídlo.
Dôvodom bola najmä snaha ujsť pred neznesiteľnými horúčavami, ktoré pravidelne trápili a podnes trápia obyvateľov Ríma. Veľkolepé stavebné dielo projektovali majstri svojej doby, palác zakomponovali do ruín bývalého stredovekého hradu a rezidencie cisára Domitiana. Turisti zväčša zapĺňajú malé námestie pod priečelím paláca, za jeho múrmi sa však rozkladajú bujné záhrady, kde rád rozjímal napr. Benedikt XVI. i Ján Pavol II. Malá farma zásobuje vatikánsku kuchyňu hovädzím a králičím mäsom, ale aj mliečnymi výrobkami vyprodukovanými práve v Castel Gandolfo. V roku 1935 tu otvorili dokonca hvezdáreň, ovzdušie nad Castel Gandolfo bolo už vtedy podstatne čistejšie než to rímske.
Pápežské sídlo slúžilo v časoch druhej svetovej vojny ako útočisko pre ľudí prenasledovaných fašistickým režimom. Záchranu tu našli tisíce Židov, dokonca v pápežskej rezidencii fungovala aj pôrodnica. V slávnom paláci však neraz hlavy cirkvi aj zomierali, v roku 1958 Pius XII. a v roku 1978 Pius VI. Nie nadarmo tu chceli tráviť chvíle oddychu i svoje posledné dni. „Ten súzvuk medzi jazerom, horami a morom je darom od Boha,“ vyjadril sa Benedikt XVI., ktorý tu po svojej abdikácii rád odpočíva. Jeho nástupca pápež František trávi aj voľné dni často priamo vo Vatikáne.