“De ældste dele af slottet stammer helt tilbage fra det 13. århundrede”, siger Saverio Petrillo, tidligere direktør for de pavelige villaer. “Det blev erhvervet af Vatikanet i 1596, da familien Savelli, som ejede det, ikke var i stand til at betale en gæld til pavedømmet.”
Garverne ligger på det sted, hvor den romerske kejser Domitian havde sin bolig. Paladset blev tegnet af den schweizisk-italienske arkitekt Carlo Maderno til pave Urban VIII. Siden da har omkring halvdelen af hans efterfølgere brugt ejendommene som sommerresidens og ferieresidens, undtagen i årene mellem 1870 og 1929, hvor paverne, der var i strid med Italien om territoriale krav, ikke forlod Vatikanstaten. Pave Pius XI fik moderniseret faciliteterne og begyndte igen at bruge opholdsstedet i 1934. I overensstemmelse med Laterantraktaten fra 1929 er paladset og den tilstødende Villa Barberini, som pave Pius XI føjede til komplekset, eksterritoriale ejendomme tilhørende Pavestolen.
Under Anden Verdenskrig søgte et ukendt antal jødiske flygtninge tilflugt på paladset under Pavestolens beskyttelse, og mange mennesker brugte stedet som tilflugtssted for de allierede bombeangreb i 1944, selv om mere end 500 mennesker døde under et af disse angreb.
Papst Pius XII døde på paladset i 1958, og det samme gjorde pave Paul VI i 1978. Pave Johannes Paul II lod bygge en swimmingpool på paladset, hvilket blev kritiseret af nogle. Paparazzier benyttede lejligheden til at tage billeder af ham.
Påske Benedikt XVI fløj til paladset ved afslutningen af sit pavedømme den 28. februar 2013, fik selskab af pave Frans til frokost den 23. marts og vendte tilbage til Vatikanstaten den 2. maj. Frans besøgte ejendommen yderligere to gange, men har aldrig overnattet der. I juni 2013 meddelte Frans, at han ikke ville tilbringe sommeren på Castel Gandolfo, som mange af hans forgængere havde gjort, men at han ville lede Angelus på stedet den 14. juli. Som pensionist brugte Benedikt det på Frans’ opfordring til en to ugers ferie i 2015.
Den 7. december 2013 udnævnte pave Frans Osvaldo Gianoli som direktør for de pavelige villaer i Castel Gandolfo. I marts 2014 åbnede Vatikanet Barberini-haverne for betalte besøgende på rundvisninger med ledsagelse i morgentimerne alle dage undtagen søndag. Fra den 11. september 2015 kunne offentligheden rejse fra Vatikanstaten til Castel Gandolfo med et tog, som tidligere havde været forbeholdt paven. Inden årets udgang blev produkter fra gården, som tidligere kun var tilgængelige for Vatikanets ansatte, gjort tilgængelige for offentligheden til køb.
Den 21. oktober 2016 blev paladset åbnet for offentligheden til besigtigelse uden at undergå strukturelle ændringer. På spørgsmålet om, hvorvidt bygningen igen ville blive en pavelig lejlighed, sagde Castel Gandolfos borgmester Milvia Monachesi “det faktum, at paladset nu er et museum, vil gøre en omvendelse i fremtiden vanskelig”.