„Die ältesten Teile des Schlosses gehen auf das 13. Jahrhundert zurück“, so Saverio Petrillo, ehemaliger Direktor der Päpstlichen Villen. Jahrhundert zurück“, so Saverio Petrillo, ehemaliger Direktor der Päpstlichen Villen, „Es wurde 1596 vom Vatikan erworben, als die Familie Savelli, der es gehörte, nicht in der Lage war, eine Schuld an den Papst zu begleichen.“
Die Gärten befinden sich an der Stelle einer Residenz des römischen Kaisers Domitian. Der Palast wurde vom schweizerisch-italienischen Architekten Carlo Maderno für Papst Urban VIII. entworfen. Seitdem haben etwa die Hälfte seiner Nachfolger das Anwesen als Sommerresidenz und Urlaubsort genutzt, mit Ausnahme der Jahre zwischen 1870 und 1929, als die Päpste aufgrund von Streitigkeiten mit Italien über territoriale Ansprüche die Vatikanstadt nicht verlassen haben. Papst Pius XI. ließ die Einrichtungen modernisieren und nutzte den Rückzugsort ab 1934 wieder. Gemäß dem Lateranvertrag von 1929 sind der Palast und die angrenzende Villa Barberini, die Papst Pius XI. dem Komplex hinzufügte, exterritoriales Eigentum des Heiligen Stuhls.
Während des Zweiten Weltkriegs fand eine unbekannte Anzahl jüdischer Flüchtlinge unter dem Schutz des Heiligen Stuhls Zuflucht im Palast, und viele Menschen nutzten die Anlage als Zufluchtsort vor den Bombenangriffen der Alliierten im Jahr 1944, obwohl mehr als 500 Menschen bei einem solchen Angriff starben.
Papst Pius XII. starb 1958 im Palast, ebenso wie Papst Paul VI. 1978. Papst Johannes Paul II. ließ im Palast ein Schwimmbad bauen, was von einigen kritisiert wurde. Paparazzi nutzten die Gelegenheit, um Fotos von ihm zu machen.
Papst Benedikt XVI. flog zum Abschluss seines Pontifikats am 28. Februar 2013 in den Palast, wurde am 23. März von Papst Franziskus zum Mittagessen begleitet und kehrte am 2. Mai in die Vatikanstadt zurück. Franziskus besuchte das Anwesen noch zweimal, blieb aber nie über Nacht. Im Juni 2013 kündigte Franziskus an, er werde den Sommer nicht in Castel Gandolfo verbringen, wie viele seiner Vorgänger, sondern dort am 14. Juli den Angelus halten. Im Ruhestand nutzte Benedikt die Villa auf Einladung von Franziskus für einen zweiwöchigen Urlaub im Jahr 2015.
Am 7. Dezember 2013 ernannte Papst Franziskus Osvaldo Gianoli zum Direktor der Päpstlichen Villen von Castel Gandolfo. Im März 2014 öffnete der Vatikan die Barberini-Gärten für bezahlte Besucher, die an allen Tagen außer sonntags vormittags an Führungen teilnehmen können. Seit dem 11. September 2015 kann die Öffentlichkeit mit einem Zug, der zuvor dem Papst vorbehalten war, von der Vatikanstadt nach Castel Gandolfo fahren. Noch vor Ende des Jahres wurden Produkte des Hofes, die zuvor nur den Angestellten des Vatikans zur Verfügung standen, für die Öffentlichkeit zum Kauf angeboten.
Am 21. Oktober 2016 wurde der Palast ohne bauliche Veränderungen für die Öffentlichkeit zur Besichtigung freigegeben. Auf die Frage, ob das Gebäude wieder zu einer päpstlichen Wohnung werden würde, sagte die Bürgermeisterin von Castel Gandolfo, Milvia Monachesi: „Die Tatsache, dass der Palast jetzt ein Museum ist, wird eine Umkehrung in der Zukunft schwierig machen“.