“A vár legrégebbi részei a 13. századból származnak” – mondta Saverio Petrillo, a pápai villák korábbi igazgatója. “A Vatikán 1596-ban szerezte meg, amikor a Savelli család, akiknek a tulajdonában volt, nem tudta kifizetni tartozását a pápaságnak.”
A kertek Domitianus római császár egyik rezidenciájának helyén helyezkednek el. A palotát Carlo Maderno svájci-olasz építész tervezte VIII. urbán pápa számára. Azóta utódainak mintegy fele nyári rezidenciaként és nyaralóhelyként használta az ingatlanokat, kivéve az 1870 és 1929 közötti éveket, amikor az Olaszországgal területi követelések miatt vitában álló pápák nem hagyták el Vatikánvárost. XI. Pius pápa korszerűsíttette a létesítményeket, és 1934-ben kezdte újra használni a nyaralóhelyet. Az 1929-es lateráni szerződés értelmében a palota és a szomszédos Villa Barberini, amelyet XI. Pius pápa csatolt a komplexumhoz, a Szentszék területen kívüli tulajdona.
A második világháború alatt ismeretlen számú zsidó menekült talált menedéket a palotában a Szentszék védelme alatt, és 1944-ben sokan használták a helyet menedékként a szövetségesek bombatámadásai elől, bár egy ilyen támadásban több mint 500 ember halt meg.
A palotában halt meg 1958-ban XII. Pius pápa, valamint 1978-ban VI. pál pápa. János Pál pápa úszómedencét építtetett a palotában, amit egyesek bíráltak. Paparazzók kihasználták a lehetőséget, hogy fotókat készítsenek róla.
VI. Benedek pápa 2013. február 28-án pápasága befejezésekor a palotába repült, március 23-án Ferenc pápa csatlakozott hozzá ebédre, május 2-án pedig visszatért Vatikánvárosba. Ferenc még kétszer látogatott el a birtokra, de soha nem maradt ott éjszakára. 2013 júniusában Ferenc bejelentette, hogy a nyarat nem Castel Gandolfóban fogja tölteni, mint sok elődje, hanem július 14-én ott fogja vezetni az Angelust. Nyugdíjba vonulásakor Benedek Ferenc meghívására 2015-ben kéthetes nyaralásra használta.
Ferenc pápa 2013. december 7-én Osvaldo Gianolit nevezte ki a Castel Gandolfói Pápai Villák igazgatójává. 2014 márciusában a Vatikán megnyitotta a Barberini-kerteket a fizetős látogatók előtt a kísérő túrákon a délelőtti órákban minden nap, kivéve vasárnap. 2015. szeptember 11-től kezdve a nagyközönség a Vatikánvárosból Castel Gandolfóba utazhatott a korábban a pápa számára fenntartott vonattal. Az év vége előtt a gazdaság termékei, amelyek korábban csak a vatikáni alkalmazottak számára voltak elérhetőek, a nagyközönség számára is megvásárolhatóvá váltak.
2016. október 21-én a palotát szerkezeti változtatások nélkül megnyitották a nagyközönség előtt. Amikor megkérdezték, hogy az épület ismét pápai lakosztály lesz-e, Milvia Monachesi, Castel Gandolfo polgármestere azt mondta: “az a tény, hogy a palota most múzeum, megnehezíti a jövőbeni visszafordítást”.