Di daerah Sai Ying Pun terdapat sebuah bangunan tua yang unik dan berbentuk persegi panjang yang terletak persis di depan sebuah bangunan baru. Gedung tersebut adalah bagian dari Sai Ying Pun Community Complex 西營盤社區綜合大樓 (sai1 ying4 pun4 se5 keui1 jung1). Selain itu gedung tersebut juga dijuluki sebagai Old Mental Hospital 舊精神病院 (gau6 jing1 san4 beng6 yun2) yaitu bekas rumah sakit jiwa atau 高街鬼屋 (gou1 gaai1 gwai2 uk1) yang berarti rumah hantu High Street.
Gedung tersebut didirikan pada tahun 1891 di 2 High Street, Sai Ying Pun setinggi 3 lantai dengan gaya desain Barok. Pada mulanya gedung tersebut bernama Nursing and Staff Quarters dan berfungsi sebagai asrama perawat asing yang bekerja di Government Civil Hospital 國家醫院 (gwok3 ga1 yi1 yun2) yang sekarang menjadi Sai Ying Pun Jockey Club Polyclinic 西營盤賽馬會分科診所 (sai1 ying4 pun4 choi3 ma5 wui2 fan1 fo1 chan2 so2).
Pada saat itu di sekitar High Street juga terdapat 2 rumah sakit jiwa yaitu sebuah rumah sakit jiwa untuk orang asing yaitu European Lunatic Asylum dan sebuah rumah sakit untuk penduduk lokal etnis Chinese yaitu Chinese Lunatic Asylum yang sekarang telah menjadi Eastern Street Methodone Clinic 東邊街美沙酮診 (dung1 bin1 gaai1 mei5 sa1 tung4 chan2). Di tahun yang sama ke 2 rumah sakit jiwa tersebut digabungkan menjadi 1 rumah sakit jiwa dan dinamakan Victoria Mental Hospital 域多利精神病院 (wik6 do1 lei6 jing1 san4 beng6 yun2).
Pada masa peperangan China dengan Jepang, Victoria Mental Hospital mulai tidak mampu menampung jumlah pasien yang melonjak pada waktu itu karena terdapat banyak penduduk daratan China yang melarikan diri ke wilayah Hong Kong. Oleh sebab itu Nursing and Staff Quarters pada tahun 1941 diubah menjadi sebuah rumah sakit jiwa khusus wanita.
Pada waktu itu pasien gangguan jiwa belum mendapat perhatian yang layak dari pemerintah atau masyarakat, maka pada waktu itu kompleks rumah sakit jiwa di Sai Ying Pun ini terdiri dari 4 rumah sakit jiwa khusus pria dan 1 rumah sakit jiwa khusus wanita, tetapi hanya memiliki 84 tempat tidur rumah sakit dan 1 dokter umum yang hanya bekerja paruh waktu. Pasien-pasien yang tidak terawat kemudian dipindahkan oleh pemerintah ke sebuah rumah sakit jiwa bernama John G. Kerr Refuge for the Insane 惠愛醫癲院 (wai6 oi3 yi1 din1 yun2) di distrik Fangcun, kota Guangzhou.
Berdasarkan catatan data, rumah sakit jiwa khusus wanita ini pada masa penjajahan Jepang atas Hong Kong yaitu tahun 1941-1945 dikosongkan. Namun sebagian penduduk lokal percaya bahwa sebenarnya tentara Jepang membuat sebuah pangkalan di gedung tersebut dan ruang bawah tanah dijadikan tempat penyiksaan dan eksekusi penduduk lokal etnis Chinese, kemudian jenazah-jenazah tersebut dikubur secara massal di King George V Memorial Park 佐治五世公園 (jo3 ji6 ng5 sai3 gung1 yun2) yang terletak di seberang.
Setelah Perang Dunia Kedua berakhir dan tentara Jepang meninggalkan Hong Kong pada tahun 1945, gedung tersebut kembali berfungsi sebagai sebuah rumah sakit jiwa khusus wanita. Berhubung rumah sakit tersebut dekat dengan The University of Hong Kong 香港大學 (heung1 gong2 daai6 hok6), maka pada waktu itu terdapat banyak mahasiswa yang melakukan praktek di sana.
Rumah sakit jiwa ini juga pernah merawat seorang terkemuka di Hong Kong, yaitu seorang anak perempuan dari pengusaha paling terkemuka Hong Kong pada waktu itu yaitu Sir Robert Hotung 何東, namun sampai saat ini masih belum diketahui anak perempuan manakah yang dirawat di rumah sakit tersebut.
Pada tahun 1960an, jumlah penduduk Hong Kong melonjak menjadi 3,000,000 jiwa, maka rumah sakit jiwa di Hong Kong tidak lagi sanggup menangani jumlah pasien yang mengalami gangguan jiwa pada waktu itu. Kemudian ketua dari The Hong Kong General Chamber of Commerce 香港總商會 (heung1 gong2 jung2 seung1 wui6) Ronald Dare Gillespie yang pernah dikurung di kamp konsentrasi ketika Perang Dunia Kedua dan Sekretaris Medis dan Kesehatan Hong Kong Yeo Kok-cheung 楊國璋 yang pernah disiksa oleh tentara Jepang ketika Perang Dunia Kedua meminta kepada Gubernur Hong Kong pada waktu itu Sir Alexander William George Herder Grantham untuk membangun sebuah rumah sakit jiwa baru. Pada akhirnya sebuah rumah sakit jiwa terbaik di wilayah Asia didirikan di distrik Tuen Mun pada tahun 1961 yaitu Castle Peak Hospital 青山精神病院 (ching1 saan1 jing1 san4 beng6 yun2). Rumah sakit jiwa di High Street, Sai Ying Pun ini kemudian dijadikan klinik khusus pasien gangguan jiwa.
Pemerintah kemudian memindahkan semua pasien dengan kasus penyakit gangguan jiwa ke Castle Peak Hospital, maka sejak tahun 1971 rumah sakit jiwa di High Street, Sai Ying Pun ini dikosongkan selama 30 tahun. Sejak itu mulai terdapat banyak cerita horor dan menjadi tempat yang menarik bagi anak-anak muda untuk melakukan petualangan dan mencari hantu di sana. Selain itu gedung ini menjadi tempat favorit para pengguna obat-obat terlarang. Seorang ahli Feng Shui terkenal Hong Kong juga pernah menyatakan bahwa lokasi tersebut adalah titik paling negatif di Hong Kong dan ia percaya bahwa terdapat sebuah pintu yang menuju neraka di sana.
Sebuah cerita hantu yang tersebar luas di tengah-tengah masyarakat lokal menceritakan pada tahun 1970an banyak kendaraan yang melewati High Street dan pengemudi mendengar suara teriakan dari gedung tersebut, namun pada masa-masa tersebut gedung ini telah dikosongkan, maka mereka beranggapan suara yang mereka dengar adalah suara hantu.
Pada tahun 1992 ada sebuah film Hong Kong berjudul Supernormal 大迷信 yang juga mengambil beberapa adegan di gedung ini. Seorang penulis terkenal menceritakan bahwa ketika ia masih kecil, ia menonton film tersebut di televisi dan ketika film tersebut menceritakan tentang gedung tua ini, ia melihat seorang pastor yang tidak memiliki kaki berada di sebuah tangga. Kemudian ia mengucek-ngucek matanya dan melihat layar televisi dipenuhi dengan wajah pastor tersebut, lalu ia langsung mematikan televisi. Pada waktu itu ibu dari penulis ini juga menonton bersama dia, tetapi ibunya tidak melihat pastor tersebut. Kemudian ibunya marah besar dan tidak memperbolehkan dia menyinggung adanya hantu.
Beberapa tahun kemudian ia menceritakan kejadian ini kepada beberapa teman sekolahnya dan mereka menertawakannya. Dia kemudian mengajak teman-teman sekolah ke gedung tersebut untuk mencari arwah pastor yang ia lihat di televisi beberapa tahun yang lalu. Ketika mereka tiba di gedung tersebut dan berada di tangga yang pernah terjadi penampakan pastor itu, teman-teman nya menertawakan dia kembali karena mereka tidak melihat apapun. Ia kemudian marah dan berteriak "Pastor, kamu ada di mana?", lalu mereka mendengar sebuah suara berkata "Saya selalu ada di sini, kalian jangan kemari lagi untuk mengganggu kita". Mereka sangat ketakutan dan segera melarikan diri dari gedung ini.
Gedung tersebut pada tahun 2006 diubah menjadi Sai Ying Pun Community Complex. Pada waktu itu gedung tua tersebut dibongkar dan hanya bagian depan yang tersisa dan area yang dibongkar dibangun kembali menjadi sebuah bangunan baru. Inilah sebabnya mengapa gedung tersebut sekarang berbentuk persegi panjang.
