Sebelum adanya beberapa kali renovasi, dulunya Masjid Jami’ Rohmat Ismail adalah sebuah bangunan surau/langgar panggung dari bahan bambu/kayu yang didirikan sekitar tahun 1833 oleh Kyai Rohmat yang dibantu putra-putra dan santri-santri beliau.
Kyai Rohmat berasal dari Juwana Pati Jawa Tengah, yang konon beliau termasuk salah satu dari santri/lasykar Pangeran Diponegoro yang hijrah ke daerah Malang dan menetap di Lembah Klampisan, yang saat ini adalah lingkungan jalan masjid RW 03 Desa Mojorejo.
Pada tahun 1967 bangunan surau/langar panggung dibongkar dan difungsikan sebagai Masjid. Renovasi bangunan terus dilakukan secara bertahap dari tahun 1974-1988 karena menyesuaikan perkembangan jumlah jamaah, sehingga bentuk bangunannya seperti dalam gambar disamping. Pada tahun 2009 bangunan masjid mengalami renovasi lagi dengan bentuk yang lebih modern dan kokoh berlantai dua sebagaimana yang dapat disaksikan dan digunakan saat ini.
Adapun penamaan Masjid Jami’ Rohmat Ismail adalah tafa’ulan dari nama Kyai Rohmat yang mbedah kerawang di wilayah RW 03 khususnya. Ada kebiasaan masyarakat zaman dahulu, bahwa sebutan/panggilan seseorang berdasar nama putra sulung (panggilan untuk Kyai Rohmat sama dengan Kyai pak Ismail, yaitu Kyai Rohmat ayahnya Ismail). Kyai Ismail sendiri adalah putra sulung dari Kyai Rohmat.
Wallohu a’lam bisshowab.