“As partes mais antigas do castelo datam do século XIII”, segundo Saverio Petrillo, antigo director das Aldeias Papais. “Foi adquirido pelo Vaticano em 1596, quando a família Savelli, que o possuía, não pôde pagar uma dívida ao Papado”,
Os jardins ocupam o local de uma residência do Imperador Romano Domiciano. O palácio foi projetado pelo arquiteto suíço-italiano Carlo Maderno para o Papa Urbano VIII. Desde então, cerca de metade dos seus sucessores utilizaram as propriedades como residência de verão e retiro de férias, exceto nos anos entre 1870 e 1929, quando os papas, em disputa com a Itália por reivindicações territoriais, não deixaram a Cidade do Vaticano. O Papa Pio XI teve as instalações modernizadas e começou a usar o retiro novamente em 1934. De acordo com o Tratado de Latrão de 1929, o palácio e a Villa Barberini adjacente acrescentada ao complexo pelo Papa Pio XI são propriedades extraterritoriais da Santa Sé.
Durante a Segunda Guerra Mundial, um número desconhecido de refugiados judeus refugiou-se no palácio sob a protecção da Santa Sé e muitas pessoas usaram o local como refúgio dos bombardeamentos aliados em 1944, embora mais de 500 pessoas tenham morrido num desses ataques.
Pio Pio XII morreu no palácio em 1958, tal como o Papa Paulo VI em 1978. O Papa João Paulo II mandou construir uma piscina no palácio, o que foi criticado por alguns. Paparazzi aproveitou a oportunidade para tirar fotos dele.
Papa Bento XVI voou para o palácio na conclusão do seu papado a 28 de Fevereiro de 2013, foi acompanhado pelo Papa Francisco para almoçar a 23 de Março, e regressou à Cidade do Vaticano a 2 de Maio. Francisco visitou a propriedade mais duas vezes, mas nunca passou a noite. Em Junho de 2013, Francisco anunciou que não passaria o Verão em Castel Gandolfo, como muitos dos seus antecessores tinham feito, mas que conduziria o Angelus até lá no dia 14 de Julho. Na aposentadoria, Bento XVI usou-o a convite de Francisco para duas semanas de férias em 2015.
Em 7 de dezembro de 2013, o Papa Francisco nomeou Osvaldo Gianoli como Diretor das Vilas Pontifícias de Castel Gandolfo. Em março de 2014, o Vaticano abriu os Jardins Barberini para pagar os visitantes em passeios com escolta durante as horas da manhã, todos os dias, exceto aos domingos. A partir de 11 de setembro de 2015, o público pôde viajar da Cidade do Vaticano para Castel Gandolfo por um trem que antes estava reservado para uso do Papa. Antes do final do ano, os produtos da fazenda, anteriormente disponíveis apenas para os funcionários do Vaticano, foram disponibilizados para compra pelo público.
Em 21 de outubro de 2016, o palácio foi aberto ao público para visualização sem sofrer nenhuma mudança estrutural. Quando perguntado se o edifício se tornaria novamente um apartamento papal, a prefeita de Castel Gandolfo, Milvia Monachesi, disse: “o facto de o palácio ser agora um museu vai dificultar uma inversão no futuro”.