«Las partes más antiguas del castillo datan del siglo XIII», según Saverio Petrillo, antiguo director de las Villas Papales. «Fue adquirido por el Vaticano en 1596 cuando la familia Savelli, propietaria del mismo, no pudo pagar una deuda al Papado»
Los jardines ocupan el lugar de una residencia del emperador romano Domiciano. El palacio fue diseñado por el arquitecto suizo-italiano Carlo Maderno para el Papa Urbano VIII. Desde entonces, cerca de la mitad de sus sucesores han utilizado las propiedades como residencia de verano y retiro vacacional, a excepción de los años comprendidos entre 1870 y 1929, cuando los papas, en disputa con Italia por reivindicaciones territoriales, no abandonaron la Ciudad del Vaticano. El Papa Pío XI hizo modernizar las instalaciones y comenzó a utilizar el retiro de nuevo en 1934. De acuerdo con el Tratado de Letrán de 1929, el palacio y la contigua Villa Barberini añadida al complejo por el Papa Pío XI son propiedades extraterritoriales de la Santa Sede.
Durante la Segunda Guerra Mundial, un número indeterminado de refugiados judíos se refugiaron en el palacio bajo la protección de la Santa Sede y muchas personas utilizaron el lugar como refugio de los bombardeos aliados en 1944, aunque más de 500 personas murieron en uno de esos ataques.
El Papa Pío XII murió en el palacio en 1958, al igual que el Papa Pablo VI en 1978. El Papa Juan Pablo II hizo construir una piscina en el palacio, lo que fue criticado por algunos. Los paparazzi aprovecharon la ocasión para hacerle fotos.
El papa Benedicto XVI voló al palacio al concluir su papado el 28 de febrero de 2013, se le unió el papa Francisco para almorzar el 23 de marzo y regresó a la Ciudad del Vaticano el 2 de mayo. Francisco visitó la propiedad dos veces más, pero nunca se ha quedado a dormir. En junio de 2013, Francisco anunció que no pasaría el verano en Castel Gandolfo como muchos de sus predecesores, pero que dirigiría el Ángelus allí el 14 de julio. En su retiro, Benedicto lo utilizó por invitación de Francisco para unas vacaciones de dos semanas en 2015.
El 7 de diciembre de 2013, el papa Francisco nombró a Osvaldo Gianoli director de las Villas Pontificias de Castel Gandolfo. En marzo de 2014, el Vaticano abrió los Jardines Barberini a los visitantes de pago en visitas guiadas durante las horas de la mañana todos los días menos el domingo. A partir del 11 de septiembre de 2015, el público pudo viajar desde la Ciudad del Vaticano hasta Castel Gandolfo en un tren que anteriormente estaba reservado para el uso del Papa. Antes de que finalizara el año, los productos de la finca, que antes solo estaban a disposición de los empleados del Vaticano, se pusieron a disposición del público para su compra.
El 21 de octubre de 2016, el palacio se abrió al público para su visita sin sufrir ningún cambio estructural. Cuando se le preguntó si el edificio volvería a ser un apartamento papal, la alcaldesa de Castel Gandolfo, Milvia Monachesi, dijo: «el hecho de que el palacio sea ahora un museo hará difícil una reversión en el futuro».