Masjid tertua di seluruh Jakarta yang masih ada, yang diperkirakan berasal dari masa pertengahan abad ke-17 terdapat beberapa data pasti yang berasal dari masa itu juga. Keberadaan masjid ini diketahui dari laporan seorang pendeta, yang menyatakan adanya sebuah masjid dan sekolah agama untuk belajar mengaji di Kampung Pekojan.

Adanya sebuah mesigit dilaporkan kepada Dewan Gereja pada tahun 1648. Inilah Masjid al Anshor, yang kini masih berdiri di Kampung Pekojan, yang merupakan daerah dengan paling banyak masjid semasa Kompeni. Masjid ini disebut lagi pada tahun 1686-an oleh Abdul Rachman. Masjid ini agak sederhana serta polos, tiangnya balok kayu lurus tanpa hiasan. Inilah tanda umumya dan didirikan kurang dari tiga puluh tahun sesudah Masjid Jayakarta terbakar.

Agak sulit menemukan masjid tertua di Jakarta, karena terletak di gang kecil, yaitu Jl. Pengukiran II, tak jauh dari Jl. Pejagalan Raya. Dahulu di sekitar masjid ini terdapat pemakaman. Tidak ada lagi yang tersisa dari pekarangan di sekitar masjid, sehingga kini hampir menyatu dengan rumah-rumah penduduk di sekitarnya. Ukuran bagian tertua masjid ini tidak lebih dari 10 x 10 m2 Masjid ini didirikan oleh dan untuk orang Moor, yaitu pedagang Gujarat dan Bengal, yang suka damai supaya bisa berdagang. Sukar menentukan bagian mana dari gedung sekarang ini, yang masih tetap asli dari tahun 1648. Setelah diperbaharui pada tahun 1973 dan 1985 gaya lama bangunan ini agak hilang. Bagian aslinya berupa empat tiang penyangga. Karena masjid ini terlalu kecil dan mulai dipakai oleh orang bukan Moor, maka seratus tahun kemudian, mereka mendirikan Masjid Bandengan Selatan.