”De äldsta delarna av slottet går tillbaka till 1200-talet”, enligt Saverio Petrillo, före detta chef för de påvliga villorna. ”Det förvärvades av Vatikanen 1596 när familjen Savelli, som ägde det, inte kunde betala en skuld till påvedömet.”
Trädgårdarna ligger på den plats där den romerske kejsaren Domitian bodde. Palatset ritades av den schweizisk-italienska arkitekten Carlo Maderno för påven Urban VIII. Sedan dess har ungefär hälften av hans efterföljare använt egendomarna som sommarresidens och semesterbostad, med undantag för åren mellan 1870 och 1929 då påvarna, som låg i tvist med Italien om territoriella anspråk, inte lämnade Vatikanstaten. Påven Pius XI lät modernisera anläggningarna och började använda reträtten igen 1934. I enlighet med Lateranfördraget från 1929 är palatset och den intilliggande Villa Barberini som påven Pius XI lade till komplexet extraterritoriell egendom som tillhör Heliga stolen.
Under andra världskriget tog ett okänt antal judiska flyktingar skydd i palatset under skydd av Heliga stolen och många människor använde platsen som en tillflykt från de allierades bombningar 1944, även om mer än 500 människor dog i en sådan attack.
Påven Pius XII dog i palatset 1958, liksom påven Paul VI 1978. Påven Johannes Paulus II lät bygga en swimmingpool i palatset, vilket kritiserades av vissa. Paparazzi utnyttjade tillfället för att ta bilder på honom.
Påven Benedictus XVI flög till palatset när han avslutade sitt påveämbete den 28 februari 2013, fick sällskap av påven Franciskus för lunch den 23 mars och återvände till Vatikanstaten den 2 maj. Franciskus besökte fastigheten ytterligare två gånger, men har aldrig stannat över natten. I juni 2013 meddelade Franciskus att han inte skulle tillbringa sommaren i Castel Gandolfo som många av hans föregångare hade gjort, men att han skulle leda Angelus där den 14 juli. Som pensionär använde Benedictus det på Franciskus inbjudan för en tvåveckorssemester 2015.
Den 7 december 2013 utnämnde påven Franciskus Osvaldo Gianoli till direktör för de påvliga villorna i Castel Gandolfo. I mars 2014 öppnade Vatikanen Barberiniträdgårdarna för betalda besökare på eskorterade rundturer under morgontimmarna varje dag utom söndag. Från och med den 11 september 2015 kunde allmänheten resa från Vatikanstaten till Castel Gandolfo med ett tåg som tidigare varit reserverat för påven. Före årets slut kunde produkter från gården, som tidigare endast var tillgängliga för Vatikanens anställda, köpas av allmänheten.
Den 21 oktober 2016 öppnades palatset för allmänheten för visning utan att genomgå några strukturella förändringar. På frågan om byggnaden återigen skulle bli en påvlig lägenhet svarade Castel Gandolfos borgmästare Milvia Monachesi: ”Det faktum att palatset nu är ett museum kommer att göra en återgång i framtiden svår”.