« Les parties les plus anciennes du château remontent au 13e siècle », selon Saverio Petrillo, ancien directeur des Villas papales. « Il a été acquis par le Vatican en 1596 lorsque la famille Savelli, qui en était propriétaire, n’a pas pu payer une dette à la papauté. »
Les jardins occupent le site d’une résidence de l’empereur romain Domitien. Le palais a été conçu par l’architecte italo-suisse Carlo Maderno pour le pape Urbain VIII. Depuis lors, environ la moitié de ses successeurs ont utilisé les propriétés comme résidence d’été et lieu de villégiature, à l’exception des années entre 1870 et 1929 où les papes, en conflit avec l’Italie sur des revendications territoriales, n’ont pas quitté la Cité du Vatican. Le pape Pie XI a fait moderniser les installations et a recommencé à utiliser la retraite en 1934. Conformément au traité du Latran de 1929, le palais et la villa Barberini attenante ajoutée au complexe par le pape Pie XI sont des propriétés extraterritoriales du Saint-Siège.
Pendant la Seconde Guerre mondiale, un nombre inconnu de réfugiés juifs se sont réfugiés au palais sous la protection du Saint-Siège et de nombreuses personnes ont utilisé le site comme refuge contre les bombardements alliés en 1944, bien que plus de 500 personnes soient mortes dans une de ces attaques.
Le pape Pie XII est mort au palais en 1958, tout comme le pape Paul VI en 1978. Le pape Jean-Paul II a fait construire une piscine au palais, ce qui a été critiqué par certains. Les paparazzi en ont profité pour prendre des photos de lui.
Le pape Benoît XVI s’est rendu au palais à la fin de son pontificat le 28 février 2013, a été rejoint par le pape François pour un déjeuner le 23 mars, et est retourné dans la Cité du Vatican le 2 mai. François a visité la propriété deux autres fois, mais n’y a jamais passé la nuit. En juin 2013, François a annoncé qu’il ne passerait pas l’été à Castel Gandolfo comme nombre de ses prédécesseurs, mais qu’il y dirigerait l’Angélus le 14 juillet. À la retraite, Benoît l’a utilisé à l’invitation de François pour des vacances de deux semaines en 2015.
Le 7 décembre 2013, le pape François a nommé Osvaldo Gianoli directeur des Villas pontificales de Castel Gandolfo. En mars 2014, le Vatican a ouvert les jardins Barberini aux visiteurs payants dans le cadre de visites accompagnées pendant les heures du matin, tous les jours sauf le dimanche. À partir du 11 septembre 2015, le public a pu se rendre de la Cité du Vatican à Castel Gandolfo par un train qui était auparavant réservé à l’usage du pape. Avant la fin de l’année, les produits de la ferme, auparavant réservés aux employés du Vatican, ont pu être achetés par le public.
Le 21 octobre 2016, le palais a été ouvert au public pour être visité sans subir de modifications structurelles. Lorsqu’on lui a demandé si le bâtiment allait redevenir un appartement papal, la maire de Castel Gandolfo, Milvia Monachesi, a déclaré : « le fait que le palais soit désormais un musée rendra difficile un retour en arrière à l’avenir ».