„Cele mai vechi părți ale castelului datează din secolul al XIII-lea”, potrivit lui Saverio Petrillo, fost director al Vilelor Papale. „A fost achiziționat de Vatican în 1596, când familia Savelli, care îl deținea, nu a putut plăti o datorie către papalitate.”
Grădinile ocupă locul unei reședințe a împăratului roman Domițian. Palatul a fost proiectat de arhitectul elvețiano-italian Carlo Maderno pentru Papa Urban al VIII-lea. De atunci, aproximativ jumătate dintre succesorii săi au folosit proprietățile ca reședință de vară și refugiu de vacanță, cu excepția anilor dintre 1870 și 1929, când papii, aflați în dispută cu Italia pentru revendicări teritoriale, nu au părăsit Vaticanul. Papa Pius al XI-lea a făcut ca facilitățile să fie modernizate și a început să folosească din nou retragerea în 1934. În conformitate cu Tratatul de la Lateran din 1929, palatul și Vila Barberini adiacentă, adăugată la complex de Papa Pius al XI-lea, sunt proprietăți extrateritoriale ale Sfântului Scaun.
În timpul celui de-al Doilea Război Mondial, un număr necunoscut de refugiați evrei s-au adăpostit la palat sub protecția Sfântului Scaun și mulți oameni au folosit locul ca refugiu împotriva bombardamentelor Aliaților în 1944, deși peste 500 de persoane au murit într-un astfel de atac.
Papa Pius al XII-lea a murit la palat în 1958, la fel ca și Papa Paul al VI-lea în 1978. Papa Ioan Paul al II-lea a făcut să fie construită o piscină la palat, care a fost criticată de unii. Paparazzi au profitat de ocazie pentru a-i face fotografii.
Papa Benedict al XVI-lea a zburat la palat la încheierea papalității sale, la 28 februarie 2013, a fost însoțit de Papa Francisc la masa de prânz din 23 martie și s-a întors la Vatican la 2 mai. Francisc a mai vizitat proprietatea de două ori, dar nu a rămas niciodată peste noapte. În iunie 2013, Francisc a anunțat că nu își va petrece vara la Castel Gandolfo, așa cum au făcut mulți dintre predecesorii săi, dar va conduce Angelus acolo pe 14 iulie. La pensie, Benedict a folosit-o la invitația lui Francisc pentru o vacanță de două săptămâni în 2015.
La 7 decembrie 2013, Papa Francisc l-a numit pe Osvaldo Gianoli în funcția de director al Vilelor Pontificale din Castel Gandolfo. În martie 2014, Vaticanul a deschis Grădinile Barberini pentru vizitatorii plătiți în cadrul unor tururi cu escortă, în orele dimineții, în fiecare zi, cu excepția duminicii. Începând cu 11 septembrie 2015, publicul a putut să călătorească de la Vatican City la Castel Gandolfo cu un tren care fusese rezervat anterior pentru a fi folosit de papă. Înainte de sfârșitul anului, produsele de la fermă, care anterior erau disponibile doar pentru angajații Vaticanului, au fost puse la dispoziția publicului pentru a fi cumpărate.
La 21 octombrie 2016, palatul a fost deschis publicului pentru vizitare, fără a suferi nicio modificare structurală. Când a fost întrebată dacă clădirea va deveni din nou un apartament papal, primarul din Castel Gandolfo, Milvia Monachesi, a declarat „faptul că palatul este acum un muzeu va face dificilă o revenire în viitor”.
.