”Linnan vanhimmat osat ovat peräisin 1200-luvulta”, paavin huviloiden entisen johtajan Saverio Petrillon mukaan. ”Vatikaani osti sen vuonna 1596, kun sen omistanut Savellin perhe ei kyennyt maksamaan velkaa paaville.”
Puutarhat sijaitsevat Rooman keisari Domitianuksen asuinpaikan paikalla. Palatsin suunnitteli sveitsiläis-italialainen arkkitehti Carlo Maderno paavi Urban VIII:lle. Sen jälkeen noin puolet hänen seuraajistaan on käyttänyt kiinteistöjä kesäasuntona ja loma-asuntona lukuun ottamatta vuosia 1870-1929, jolloin Italian kanssa aluevaatimuksista kiistelevät paavit eivät poistuneet Vatikaanista. Paavi Pius XI modernisoi tilat ja aloitti retriitin käytön uudelleen vuonna 1934. Vuoden 1929 Lateraanisopimuksen mukaan palatsi ja viereinen Villa Barberini, jonka paavi Pius XI lisäsi kompleksiin, ovat Pyhän istuimen ekstraterritoriaalista omaisuutta.
Toisen maailmansodan aikana tuntematon määrä juutalaispakolaisia hakeutui palatsiin suojaan Pyhän istuimen suojeluksessa, ja monet ihmiset käyttivät paikkaa turvapaikkana liittoutuneiden pommihyökkäyksiltä vuonna 1944, vaikka eräässä tällaisessa hyökkäyksessä kuoli yli 500 ihmistä.
Paavi Pius XII kuoli palatsissa vuonna 1958, samoin paavi Paavali VI vuonna 1978. Paavi Johannes Paavali II rakennutti palatsiin uima-altaan, jota jotkut kritisoivat. Paparazzit käyttivät tilaisuutta hyväkseen ottaakseen hänestä valokuvia.
Paavi Benedictus XVI lensi palatsiin paaviutensa päättyessä 28. helmikuuta 2013, paavi Franciscus liittyi hänen seuraansa lounaalle 23. maaliskuuta ja palasi Vatikaaniin 2. toukokuuta. Franciscus vieraili kohteessa vielä kahdesti, mutta ei ole koskaan yöpynyt siellä. Kesäkuussa 2013 Franciscus ilmoitti, ettei hän viettäisi kesää Castel Gandolfossa, kuten monet hänen edeltäjistään olivat tehneet, mutta johtaisi siellä Angeluksen 14. heinäkuuta. Eläkkeellä oleva Benedictus käytti sitä Franciscuksen kutsusta kahden viikon lomallaan vuonna 2015.
7. joulukuuta 2013 paavi Franciscus nimitti Osvaldo Gianolin Castel Gandolfon paavillisen huvilan johtajaksi. Maaliskuussa 2014 Vatikaani avasi Barberinin puutarhat maksullisille vierailijoille seuralaiskierroksille aamupäivisin joka päivä sunnuntaita lukuun ottamatta. Syyskuun 11. päivästä 2015 alkaen yleisö saattoi matkustaa Vatikaanista Castel Gandolfoon junalla, joka oli aiemmin varattu paavin käyttöön. Ennen vuoden loppua tilan tuotteet, jotka olivat aiemmin olleet vain Vatikaanin työntekijöiden saatavilla, tulivat yleisön ostettaviksi.
21. lokakuuta 2016 palatsi avattiin yleisölle tutustuttavaksi ilman rakenteellisia muutoksia. Kun Castel Gandolfon pormestari Milvia Monachesi kysyi, tulisiko rakennuksesta jälleen paavin asunto, hän sanoi: ”se, että palatsi on nyt museo, tekee peruuttamisen tulevaisuudessa vaikeaksi”.