“De oudste delen van het kasteel dateren uit de 13e eeuw”, aldus Saverio Petrillo, voormalig directeur van de Pauselijke Villa’s. “Het werd in 1596 door het Vaticaan verworven toen de familie Savelli, die het in bezit had, een schuld aan het pausdom niet kon betalen.”
De tuinen bevinden zich op de plaats van een residentie van de Romeinse keizer Domitianus. Het paleis werd ontworpen door de Zwitsers-Italiaanse architect Carlo Maderno voor Paus Urbanus VIII. Sindsdien heeft ongeveer de helft van zijn opvolgers de eigendommen gebruikt als zomerresidentie en vakantieverblijf, met uitzondering van de jaren tussen 1870 en 1929 toen de pausen, in een geschil met Italië over territoriale aanspraken, Vaticaanstad niet verlieten. Paus Pius XI liet de faciliteiten moderniseren en begon de retraite in 1934 opnieuw te gebruiken. Overeenkomstig het Verdrag van Lateranen van 1929 zijn het paleis en de aangrenzende Villa Barberini, die door Paus Pius XI aan het complex werd toegevoegd, extraterritoriale eigendommen van de Heilige Stoel.
Tijdens de Tweede Wereldoorlog vond een onbekend aantal joodse vluchtelingen onderdak in het paleis onder bescherming van de Heilige Stoel en velen gebruikten de plek als schuilplaats tegen geallieerde bombardementen in 1944, hoewel bij één zo’n aanval meer dan 500 mensen omkwamen.
Paus Pius XII stierf in het paleis in 1958, evenals Paus Paulus VI in 1978. Paus Johannes Paulus II liet een zwembad bouwen in het paleis, wat door sommigen werd bekritiseerd. Paparazzi maakten van de gelegenheid gebruik om foto’s van hem te maken.
Paus Benedictus XVI vloog bij de afsluiting van zijn pausdom op 28 februari 2013 naar het paleis, werd op 23 maart vergezeld door paus Franciscus voor een lunch, en keerde op 2 mei terug naar Vaticaanstad. Franciscus heeft het pand nog tweemaal bezocht, maar is er nooit blijven overnachten. In juni 2013 kondigde Franciscus aan dat hij de zomer niet in Castel Gandolfo zou doorbrengen, zoals veel van zijn voorgangers, maar er wel het Angelus zou leiden op 14 juli. Bij zijn pensionering gebruikte Benedictus het op uitnodiging van Franciscus voor een vakantie van twee weken in 2015.
Op 7 december 2013 benoemde paus Franciscus Osvaldo Gianoli tot directeur van de Pauselijke Villa’s van Castel Gandolfo. In maart 2014 opende het Vaticaan de Barberini-tuinen voor betaalde bezoekers op begeleide rondleidingen tijdens de ochtenduren elke dag behalve zondag. Vanaf 11 september 2015 kon het publiek van Vaticaanstad naar Castel Gandolfo reizen met een trein die eerder was voorbehouden voor gebruik door de paus. Voor het einde van het jaar werden producten van de boerderij, die voorheen alleen beschikbaar waren voor medewerkers van het Vaticaan, beschikbaar gesteld voor aankoop door het publiek.
Op 21 oktober 2016 werd het paleis opengesteld voor bezichtiging door het publiek zonder structurele veranderingen te ondergaan. Op de vraag of het gebouw opnieuw een pauselijk appartement zou worden, zei Castel Gandolfo burgemeester Milvia Monachesi: “het feit dat het paleis nu een museum is, zal een omkering in de toekomst moeilijk maken”.