Masjid Agung yang pertama di Indonesia. Bangsa Arab mengenal masjid agung di Indonesia ada di Masjid Jami Matraman, bukan Masjid Agung Al Ashar atau Masjid Istiqlal. Semula merupakan gubuk kecil tempat pasukan Sultan Agung menjalankan sholat. Terletak di bekas kandang burung milik Belanda yang digunakan oleh orang Mataram sebagai pos komando panglima Mataraman. Pembangunannya dipimpin oleh keturunan Sunan Kalijaga, namun tidak jelas siapa namanya. Bangunan masjid masih berupa tumpukan batu batao Kemudian dibangun lagi oleh sekelompok warga Matraman yang diketuai orang Ambon yang bernama Nyai Patiloy (1930). H. Agus Salim juga pernah menjadi ketua pembangunan masjid. Belanda tidak setuju dengan pembangunan masjid yang berada di pinggir jalan dan memerintahkan supaya dibangun lebih ke dalam. Mereka berjanji akan membantu biaya sebesar 10.000 gulden. Usul dari Belanda ini mendapat pertentangan dari pengurus pembangunan masjid bahkan sampai dipermasalahkan pada sidang Gemeenteraad. Masjid ini juga pernah mendapat bantuan dari Saudi Arabia (1940). Moh. Hatta, Bapak Proklamasi RI, dulu setiap Jumat selalu bersembahyang di masjid Jami Matraman dan di akhir hayatnya juga disembahyangkan di mesjid ini. Masjid Jami Matraman pertama kali dipugar pada tahun 1955-1960 dan dilanjutkan pada tahun 1977.