„Nejstarší části hradu pocházejí ze 13. století,“ uvádí Saverio Petrillo, bývalý ředitel papežských vil. „Vatikán jej získal v roce 1596, když rodina Savelli, která jej vlastnila, nebyla schopna zaplatit dluh papežství.“
Zahrady zaujímají místo, kde stávala rezidence římského císaře Domiciána. Palác navrhl švýcarsko-italský architekt Carlo Maderno pro papeže Urbana VIII. Od té doby přibližně polovina jeho nástupců využívala nemovitosti jako letní sídlo a prázdninové útočiště, s výjimkou let 1870-1929, kdy papežové ve sporu s Itálií o územní nároky Vatikán neopouštěli. Papež Pius XI. nechal zařízení zmodernizovat a v roce 1934 začal útočiště opět využívat. Podle Lateránské smlouvy z roku 1929 jsou palác a přilehlá vila Barberini, kterou ke komplexu připojil papež Pius XI., exteritoriálním majetkem Svatého stolce.
Během druhé světové války se v paláci pod ochranou Svatého stolce ukrýval neznámý počet židovských uprchlíků a mnoho lidí zde našlo útočiště před spojeneckými nálety v roce 1944, i když při jednom takovém útoku zahynulo více než 500 lidí.
Papež Pius XII. zemřel v paláci v roce 1958, stejně jako papež Pavel VI. v roce 1978. Papež Jan Pavel II. nechal v paláci vybudovat bazén, což někteří kritizovali. Paparazziové využívali příležitosti k jeho fotografování.
Papež Benedikt XVI. přiletěl do paláce na závěr svého pontifikátu 28. února 2013, 23. března se k němu připojil papež František na obědě a 2. května se vrátil do Vatikánu. František navštívil objekt ještě dvakrát, ale nikdy zde nezůstal přes noc. V červnu 2013 František oznámil, že v Castel Gandolfu nestráví léto jako mnozí jeho předchůdci, ale 14. července zde povede modlitbu Anděl Páně. V důchodu ji Benedikt na Františkovo pozvání využil k dvoutýdenní dovolené v roce 2015.
Papež František 7. prosince 2013 jmenoval Osvalda Gianoliho ředitelem papežských vil Castel Gandolfo. V březnu 2014 Vatikán otevřel zahrady Barberini pro placené návštěvníky v rámci prohlídek s doprovodem v dopoledních hodinách každý den kromě neděle. Od 11. září 2015 mohla veřejnost cestovat z Vatikánu do Castel Gandolfa vlakem, který byl dříve vyhrazen pro použití papežem. Před koncem roku byly veřejnosti zpřístupněny ke koupi produkty z farmy, které byly dříve k dispozici pouze zaměstnancům Vatikánu.
Dne 21. října 2016 byl palác zpřístupněn veřejnosti k prohlídce, aniž by prošel jakoukoli stavební úpravou. Na otázku, zda se budova opět stane papežským bytem, odpověděla starostka Castel Gandolfa Milvia Monachesiová: „skutečnost, že palác je nyní muzeem, bude v budoucnu ztěžovat případný zvrat“
.