Awalnya, pesantren Denanyar ini hanya menyediakan lembaga pendidikan untuk kaum pria saja. Pada 1930, Kiai Bisri kemudian mencoba hal baru dengan mendirikan kelas khusus untuk kaum perempuan di pesantrennya. Karena itu, Kiai Bisri dianggap sebagai pelopor pendirian pesantren perempuan di Indonesia.
Pendirian kelas untuk perempuan itu merupakan wujud kepeduliannya terhadap pendidikan kaum perempuan muslim Indonesia. Dengan dukungan istrinya, Nyai Chodijah, Kiai Bisri saat itu memulai dengan mengajak perempuan di sekitar pesantren untuk belajar Islam.
Setelah cukup banyak santri yang ikut mengaji, Kiai Bisri lalu mendirikan tempat khusus untuk santri putri. Sebagaimana santri putra, santri putri yang dididik Kiai Bisri juga diajarkan berbagai ilmu keislamam seperti fikih, akhlak, tasawuf hingga tauhid.
Tokoh Ulama NU KH Ahmad Mustofa Bisri atau Gus Mus bahkan menyebut Kiai Bisri sebagai perintis madrasah perempuan pertama di Indonesia. Dengan hadirnya madrasah tersebut, perempuan muslim di Indonesia mempunyai kesempatan yang sama dengan laki-laki untuk belajar agama Islam.
“Kita rindu pada kiai yang seperti Mbah Bisri Syansuri. Sampean bayangkan Kiai Bisri ini perintis madrasah perempuan pertama,” ujar Gus Mus dalam salah satu ceramahnya pada 2015.