Asrama yang didirikan oleh Hitoshi Shimizu, orang Jepang yang telah menyusup di kalangan pemuda sebelum penyerbuan Jepang, atas sponsor Departemen Propaganda Jepang (Sendenbu). Sebenarnya, asrama ini dimaksudkan sebagai pusat pendidikan politik untuk menggembleng pemuda-pemuda Indonesia demi kepentingan Jepang. Akan tetapi secara diam-diam asrama ini digunakan oleh pemuda sebagai markas gerakan menegakkan semangat nasionalisme. Pimpinan asrama dipegang oleh Sukarni dan Chairul Saleh, wakilnya. Asrama Angkatan Baru Indonesia sering juga disebut Asrama Menteng 31, sesuai dengan letaknya.

Anggota asrama berjumlah sekitar 50 sampai 60 orang setiap angkatannya. Mereka teutama eks mahasiswa Fakultas Hukum yang pernah aktif dalam gerakan nasional pada masa sebelumnya, dan juga pemuda-pemuda berpendidikan lebih rendah yang sedikit banyak pernah mengalami gerakan pemuda di tahun 30-an. Yang terkenal di antara mereka adalah Chairul Saleh, Sukami, A.M. Hanafi, Ismail Widjaya, Aidit, Lukman, dan Sjamsuddin Can. Chairul Saleh misalnya, relatif akrab dengan Mohammad Hatta, dan di akhir pemerintahan Belanda, dia menjadi anak buah Muhammad Yamin. Anggota Asrama Menteng 31 berasal dari berbagai organisasi yang ada sebelumnya, seperti Gerindo, Indonesia Muda, Suryawirawan, Partai Indonesia Raya, Suluh Pemuda Indonesia, dan sebagainya.

Di situ mereka memperoleh berbagai ceramah dan kursus tentang politik, ekonomi, tata negara, hukum, sosiologi, bahasa, agama,dan sejarah. Penceramahnya antara lain Sukarno, Mohammad Hatta, Sunario, Muhammad Yamin, Amir Sjarifuddin, M. Zain, Jambek, Ahmad Subardjo, dan guru-guru Jepang seperti Bakki, Makatani, dan Hitoshi Shimizu.

Kelompok Asrama Angkatan Baru Indonesia secara diam-diam menjalin hubungan dengan berbagai pihak, misalnya dengan Adam Malik, B.M. Diah, dan Harsono Tjokroaminoto, yang bekerja di kantor berita Domei. Mereka secara teratur memberikan informasi penting, yang selanjutnya disebarluaskan kepada kelompok kelompok lainnya.

Di asrama ini dibentuk juga seksi-seksi, antara lain seksi pemuda, yang dipimpin oleh Khalid Rasyidi. Seksi ini kemudian membentuk Barisan Banteng, yang berbentuk semi militer. Orang-orang penting di barisan ini, kecuali Khalid Rasyidi adalah Muanif Nasution, Gusti Saung Armansyah, dan Djamhari Djaya. Karena aktivitas Asrama Angkatan Baru Indonesia itu dinilai membahayakan Jepang, pada pertengahan, tahun 1943 asrama ini dibubarkan oleh Jepang. Meskipun demikian, asrama ini secara diamdiam tetap dipakai sebagai tempat berkumpul bagi mereka.