Masjid Raya Medan selain sebagai tempat beribadah bagi umat Islam, juga merupakan salah satu destinasi wisata religi yang penuh dengan nuansa Islami. Masjid ini mulai dibangun pada tahun 1906 dan selesai pada tahun 1909.
Pada awal pembangunannya, masjid ini menyatu dengan kompleks Istana Maimun. Gaya arsitekturnya khas Timur Tengah, India dan Spanyol. Masjid ini berbentuk segi delapan dan memiliki sayap di bagian selatan, timur, utara dan barat.
Sultan Makmum Al Rasyid Perkasa Alam sebagai pemimpin Kesultanan Deli memulai pembangunan Masjid Raya Al Mashun pada tanggal 21 Agustus 1906 (1 Rajab 1324 H). Keseluruhan pekerjaan pembangunan masjid selesai pada tanggal 10 September 1909 (25 Syakban 1329 H) sekaligus digunakan, ditandai dengan pelaksanaan sholat Jumat pertama di masjid ini.
Dana pembangunan masjid ini menghabiskan 1 juta Gulden. Sultan memang sengaja membangun masjid kerajaan ini dengan megah, karena menurut prinsipnya, hal tersebut lebih utama daripada kemegahan istananya sendiri, Istana Maimun. Pendanaan pembangunan masjid ini ditanggung sendiri oleh Sultan, namun konon Tjong A Fie, tokoh etnis Tionghoa kota Medan yang hidup sezaman dengan Sultan Makmun Al Rasyid turut berkontribusi dalam pendanaan pembangunan masjid ini.
Pada awalnya Masjid Raya Al Mashun dirancang oleh arsitek Belanda bernama T.H. van Erp yang juga merancang Istana Maimun, namun kemudian prosesnya dikerjakan oleh J.A Tingdeman. Van Erp ketika itu dipanggil ke Pulau Jawa oleh pemerintah Hindia Belanda untuk bergabung dalam proses restorasi Candi Borobudur di Jawa Tengah. Sebagian bahan bangunan diimpor antara lain : marmer untuk dekorasi diimpor dari Italia dan Jerman, kaca patri dari Cina dan lampu gantung langsung dari Perancis.
JA Tingdeman, sang arsitek merancang masjid ini dengan denah simetris segi delapan dalam corak bangunan campuran Maroko, Eropa, Melayu dan Timur Tengah.