Tjong A Fie dekat dengan golongan kaum terpandang di Medan, di antaranya Sultan Deli, Makmun Al Rasyid serta pejabat-pejabat kolonial Hindia Belanda.
Pada tahun 1911, Tjong A Fie diangkat sebagai "Kapitan Tionghoa" ("Majoor der Chineezen") untuk memimpin komunitas Tionghoa di Medan, menggantikan kakaknya, Tjong Yong Hian. Sebagai pemimpin masyarakat Tionghoa, Tjong A Fie sangat dihormati dan disegani, karena ia menguasai bidang ekonomi dan politik. Kerajaan bisnisnya meliputi perkebunan, pabrik minyak kelapa sawit, pabrik gula, bank dan perusahaan kereta api.
Di Tanah Deli, Tjong A Fie menjalin hubungan baik dengan Sultan Deli, Makmun Al Rasyid Perkasa Alamsyah dan Tuanku Raja Muda sehingga membuka jalan baginya untuk menjalankan usaha.
Tjong A Fie dikenal sangat berjasa dalam membangun kota Medan yang pada saat itu dinamakan Deli Tua, terutama kawasan pemukiman etnis Tionghoa (Kampung Tionghoa). Beberapa jasa lainnya dalam usaha mengembangkan kota Medan adalah menyumbangkan menara lonceng untuk Gedung Balai Kota Medan (lama), pembangunan Istana Maimun, Gereja Uskup Agung Sugiopranoto, Vihara Buddha di Pulo Brayan, kuil Hindu untuk warga keturunan India, Batavia Bank, Deli Bank, Jembatan Kebajikan di Jalan Zainul Arifin serta mendirikan rumah sakit Tionghoa pertama di Medan bernama "Tjie On Jie Jan". Ia dikenal pula sebagai pelopor industri perkebunan dan transportasi kereta api pertama di Sumatera Utara, yakni Kereta Api Deli (DSM), yang menghubungkan kota Medan dengan pelabuhan Belawan.
Bangunan kediaman Tjong A Fie didirikan pada tahun 1900, terletak di Jalan Ahmad Yani, Kesawan, Medan, tidak jauh dari Restoran Tip Top. Saat ini, bangunan rumah tersebut dijadikan sebagai "Tjong A Fie Memorial Institute" dan dikenal juga dengan nama "Tjong A Fie Mansion", sekaligus berfungsi sebagai Museum Tjong A Fie. Rumah Tjong A Fie termasuk bangunan cagar budaya karena berada dalam kawasan Kesawan yang telah ditegaskan Pemerintah Kota Medan sebagai kawasan cagar budaya melalui Peraturan Daerah Kota Medan Nomor 06 Tahun 1988 tentang Pelestarian Bangunan dan Lingkungan yang Bersejarah Arsitektur Kepurbakalaan. Rumah ini dibuka untuk umum pada tanggal 18 Juni 2009 untuk memperingati ulang tahun Tjong A Fie yang ke-150.
Rumah ini merupakan bangunan yang didesain dengan perpaduan gaya arstitektur Tionghoa, Eropa, Melayu dan "art-deco" dan menjadi salah satu destinasi wisata budaya dan sejarah di kota Medan. Di rumah ini, pengunjung bisa mengetahui sejarah kehidupan Tjong A Fie lewat foto-foto, lukisan serta perabotan rumah yang digunakan keluarganya serta mempelajari kebudayaan Melayu-Tionghoa.