Masjid besar yang pembangunannya dimulai pada bulan November 1953 dan diresmikan pemakaiannya pada tahun 1958 dengan nama Masjid Agung Kebayoran. Masjid ini terletak di atas tanah seluas lebih kurang 4,5 ha, di Jl. Sisingamangaraja (Kebayoran Baru), yang merupakan pemberian Syamsurijal, walikota Jakarta, pada tahun 1952. Pada tahun 1960 Syekh Mahmud Syaltut, rektor Universitas al-Azhar (Mesir), berkunjung ke Masjid Kebayoran dan memberikan nama al-Azhar sehingga resmi menjadi Masjid Agung al-Azhar serta merestui pegangkatan Prof. Dr. HAMKA sebagai Imam Besar Masjid Agung al-Azhar.

Pembangunan dari Buya Hamka dan pembiayaan hasil swadaya umat Islam di Jakarta. Tempat ini merupakan pusat kegiatan Yayasan Pendidikan Al-Azhar, yaitu sebuah sarana pendidikan bergengsi yang bernafaskan ajaran Islam. Para pendidik di Yayasan ini selain memperhatikan mutu pendidikan dan pelangajaran umum, juga mengutamakan norma-norma agama Islam. Bangunan masjid ini menggunakan arsitektur bergaya perpaduan antara arsitektur Masjid Hij' (Saudi Arabia) dengan arsitektur Masjid Qibtiyah (Mesir). Keberadaan Masjid agung Al-Azhar merupakan pusat pengembangan dakwah Islam di Jakarta. Di Masjid Ini pula pernah dilakukan penggalangan kekuatan anti komunis dalam usaha menumpas PKI dan antek-anteknya pada tahun 1965-1966.