中央にバチカン天文台のドームを望む
「城内の最も古い部分は13世紀にさかのぼる」と教皇別荘の前ディレクターSaverio Petrilloは述べています。 「
庭園は、ローマ皇帝ドミティアヌスの住居跡を利用している。 この宮殿は、スイス系イタリア人建築家カルロ・マデルノが教皇ウルバン8世のために設計したものである。 それ以来、歴代教皇の約半数が夏の別荘や保養地として利用したが、1870年から1929年の間、イタリアとの領有権争いで教皇がバチカン市国を離れなかった時期がある。 教皇ピオ11世は施設を近代化させ、1934年から再び保養所を使用するようになった。 1929年のラテラン条約により、教皇ピオ11世が増築した宮殿と隣接するバルベリーニ荘は、聖座の治外法権に属する財産となっています。
第二次世界大戦中は、聖座の保護のもと、不特定多数のユダヤ人難民が宮殿に避難し、1944年には連合軍の空襲から多くの人々がこの場所を避難場所として利用したが、このような攻撃で500人以上が死亡した
1958年に教皇ピオ12世が、1978年には教皇パウル6世が宮殿で死亡。 ヨハネ・パウロ2世は、宮殿にプールを建設しましたが、これは一部で批判されました。
教皇ベネディクト16世は2013年2月28日に教皇職を終える際に宮殿に飛び、3月23日に教皇フランシスと昼食に参加し、5月2日にバチカン市国に帰還した。 フランシスコはさらに2回訪問しているが、宿泊したことはない。 2013年6月、フランシスコは多くの前任者のようにカステル・ガンドルフォで夏を過ごさず、7月14日に同所でアンジェルスを導くと発表した。 引退後のベネディクトは、2015年にフランシスの招きで2週間の休暇に利用した
2013年12月7日、フランシス法王はカステル・ガンドルフォの教皇別荘の館長にオスバルド・ジャノーリを指名した。 2014年3月、バチカンはバルベリーニ庭園を、日曜日を除く毎日午前中の時間帯に、付き添いの有料訪問者に開放した。 2015年9月11日からは、これまでローマ法王が使用するために確保されていた列車で、バチカン市国からカステル・ガンドルフォまで一般人が移動できるようになった。 年末前には、それまでバチカン職員しか購入できなかった農園の産物が一般にも購入できるようになった
2016年10月21日、宮殿は構造変更を受けることなく一般に公開され、見学できるようになった。 この建物が再び法王庁のアパートメントになるのか、という質問に対して、カステル・ガンドルフォ市長のミルヴィア・モナチェシはこう答えている。 「宮殿が博物館となったことで、将来的に逆転することは難しいだろう」
と述べている。