桂離宮位於京都市西郊，遊客想一攬其建築庭園之美，必須向掌管皇室事務的宮內廳申請，因為始自17世紀起，桂離宮就是皇室家族的別墅所在。
元和元年（西元1615年），八条宮家的智仁親王取得了桂地，馬上投注心力興建別墅。桂地向來是王公貴族心目中的桃花源，也是《源氏物語》故事發生的舞台，自幼學習和歌與古典文學的智仁親王，早在心中描繪了一幅離宮庭園圖，想要重現光源氏的「桂殿」風光。
智仁親王首先興建了一座「古書院」，有四個房間、廚房、廁所、浴室等；然後整頓庭園，引桂川之水入池塘，在池中島架橋、植栽，在假山上搭設小茶屋，在庭園鋪設碎石和飛石步道。到了寬永元年（西元1624年），這座「桂別業」已是粗具雛型了。可惜寬永6年智仁親王辭世，「桂別業」遂就此荒廢。
寬永18年（西元1641年）左右，總算長大成人的長子智忠親王決定繼承父業，重現「桂別業」風采。他大刀闊斧增建「御座之間」，又在庭園各處增設御茶屋，工程一直進行到慶安2年（西元1649年）才終告一段落。寬文2年（西元1662年）為了後水尾上皇即將駕臨，又營造了「御幸御殿」；智忠親王雖未能在生前親眼目睹御殿的完成，卻已將桂離宮打造成日本建築史上的傳奇。然而，其中的建築工法由於皇室的高貴神秘，外界一直無法窺知。
西元1976年1982年，桂離宮展開「昭和大整修」計畫，作者齋藤英俊以古蹟維護專家的身份實際參與，總算有機會拆解御殿的建材組件，從中了解當年的建築工法；在這六年之中的調查紀錄，成了世人了解桂離宮的第一手資料。錯綜繁複的建築經由科班出身的插畫家穗積和夫的妙筆轉化，一道道建築謎題瞬間豁然開朗。這一因緣際會，讓三百多年前的建築奧秘得以在世人面前解構；皇室離宮不再高不可攀，親王別業終能成為平民百姓欣賞日本傳統建築之美的媒介。