Sebagian besar kakek, nenek atau orang tua penduduk Hong Kong merupakan pendatang dari Daratan China. Sebagian dari mereka adalah orang kaya yang membawa keluarga besar mereka pindah dari Daratan China ke Hong Kong, karena mereka melihat potensi yang sangat besar untuk mengembangkan bisnis keluarga mereka di Hong Kong pada waktu itu.
Pada tahun 1930an, sepupu laki-laki dari seorang jenderal yang sangat terkemuka di wilayah Guangdong yaitu Chan Wai-chow 陳維周 memutuskan pindah ke Hong Kong. Pada tahun 1941, Chan Wai-chow membeli sebidang tanah luas yang terletak di sebuah kaki bukit di daerah North Point 北角 [bak1 gok3]. Kemudian Chan Wai-chow membangun sebuah rumah yang sangat besar dan mewah dengan desain perpaduan antara istana Eropa dan rumah tradisional Chinese. Bahan bangunan yang di gunakan untuk membangun rumah tersebut termasuk batu bata merah, marmer putih dan lainnya.
Rumah tersebut kemudian diberikan nama Kai Yuen 繼園 dan tidak lama kemudian jalan di sekitar rumah mewah ini diberikan nama Kai Yuen Street 繼園街.
Area sekitar rumah mewah Kai Yuen kemudian juga menjadi area tempat tinggal beberapa seniman dan sastrawan terkemuka seperti penulis Sima Chang-feng 司馬長風, novelis redologi Stephen Soong 宋淇 [sung3 kei4], pemain Opera Beijing Meng Xiaodong 孟小冬 dan Eileen Chang 張愛玲.
Berdasarkan cerita dari anak laki-laki dari Stephen Soong yang bernama Ronald Soong 宋以朗 [sung3 yi5 long5], bahwa ayahnya pernah pada suatu musim panas meminta Chan Wai-chow untuk memperbolehkan anak-anak yang tinggal di sekitarnya untuk berenang bersama di kolam renang besar yang terletak di kawasan rumahnya. Chan Wai-chow pada waktu itu mengabulkan permintaan ini dan Ronald Soong bersama anak-anak lain pada waktu itu merasa sangat bahagia dapat bermain di kolam renang besar tersebut.
Puluhan tahun kemudian Chan Wai-chow serta keluarga dan saudara-saudaranya memutuskan untuk pindah dari Kai Yuen. Lalu Kai Yuen dibongkar dan dibangun beberapa gedung apartemen yaitu 60-74 Kai Yuen Street pada tahun 1970an. Pada tahun 2021, gedung-gedung apartemen tersebut juga dibongkar dan di sekitarnya telah dibangun beberapa gedung apartemen mewah.
