„Najstarsze części zamku pochodzą z XIII wieku”, według Saverio Petrillo, byłego dyrektora willi papieskich. „Został przejęty przez Watykan w 1596 roku, kiedy rodzina Savelli, która była jego właścicielem, nie była w stanie spłacić długu wobec papiestwa.”
Ogrody zajmują miejsce rezydencji rzymskiego cesarza Domicjana. Pałac został zaprojektowany przez szwajcarsko-włoskiego architekta Carlo Maderno dla papieża Urbana VIII. Od tego czasu około połowa jego następców używała posiadłości jako letniej rezydencji i miejsca wypoczynku, z wyjątkiem lat 1870-1929, kiedy papieże, pozostając w sporze z Włochami o roszczenia terytorialne, nie opuszczali Watykanu. Papież Pius XI zlecił modernizację obiektów i w 1934 r. ponownie zaczął korzystać z rekolekcji. Zgodnie z Traktatem Laterańskim z 1929 roku, pałac i przylegająca do niego Willa Barberini, dodane do kompleksu przez papieża Piusa XI, są eksterytorialnymi posiadłościami Stolicy Apostolskiej.
Podczas II wojny światowej nieznana liczba żydowskich uchodźców schroniła się w pałacu pod ochroną Stolicy Apostolskiej, a wiele osób korzystało z tego miejsca jako schronienia przed alianckimi nalotami bombowymi w 1944 roku, choć w jednym z takich ataków zginęło ponad 500 osób.
Papież Pius XII zmarł w pałacu w 1958 roku, podobnie jak papież Paweł VI w 1978 roku. Papież Jan Paweł II kazał wybudować w pałacu basen, co zostało skrytykowane przez niektórych. Paparazzi korzystali z okazji, aby robić mu zdjęcia.
Papież Benedykt XVI przyleciał do pałacu na zakończenie swojego pontyfikatu 28 lutego 2013 r., dołączył do niego papież Franciszek na obiedzie 23 marca i wrócił do Watykanu 2 maja. Franciszek odwiedził posiadłość jeszcze dwukrotnie, ale nigdy nie został w niej na noc. W czerwcu 2013 roku Franciszek ogłosił, że nie spędzi lata w Castel Gandolfo, jak wielu jego poprzedników, ale 14 lipca poprowadzi tam modlitwę Anioł Pański. Na emeryturze Benedykt wykorzystał ją na zaproszenie Franciszka na dwutygodniowe wakacje w 2015 r.
W dniu 7 grudnia 2013 r. papież Franciszek mianował Osvaldo Gianoli dyrektorem papieskich willi w Castel Gandolfo. W marcu 2014 roku Watykan otworzył Ogrody Barberini dla płatnych zwiedzających na eskortowane wycieczki w godzinach porannych każdego dnia oprócz niedzieli. Począwszy od 11 września 2015 r., publiczność mogła podróżować z Watykanu do Castel Gandolfo pociągiem, który wcześniej był zarezerwowany do użytku papieża. Przed końcem roku produkty z farmy, wcześniej dostępne tylko dla pracowników Watykanu, zostały udostępnione do zakupu dla publiczności.
W dniu 21 października 2016 r. pałac został otwarty dla publiczności do oglądania bez przechodzenia żadnych zmian strukturalnych. Na pytanie, czy budynek ponownie stanie się apartamentem papieskim, burmistrz Castel Gandolfo Milvia Monachesi powiedziała: „fakt, że pałac jest teraz muzeum, utrudni odwrócenie sytuacji w przyszłości”.
.