REPUBLIKA.CO.ID, Polemik yang paling hebat muncul setelah Ahmad Khatib secara terbuka menentang Thariqat Naqsyabandiyah al-Khalidiyah. Ia menyampaikannya dalam buku Izhharu Zaghlil Kazibin fi Tasyabbuhihim bish Shadiqin yang selesai ditulisnya pada 1906.
Tak pelak, seluruh pengikut Thariqat Naqsyabandiyah dan penganut tasawuf dari berbagai thariqat lainnya marah dengan tulisan Ahmad Khatib itu. Syekh Muhammad Sa’ad Mungka, guru besar Thariqat Naqsyabandiyah yang juga sahabat Ahmad Khatib, meresponnya dengan menulis buku berjudul Irghamu Unufi Muta’annitin fi Inkarihim Rabithatil Washilin yang rampung pada 1907.
Dalam beberapa karyanya, Ahmad Khatib menegaskan barang siapa masih mematuhi lembaga-lembaga ‘kafir’, maka ia termasuk kafir dan akan masuk neraka. Selain pengikut Naqshabandiyah, banyak pula guru agama yang tidak menyetujui pendirian Ahmad Khatib yang dinilai tidak kenal damai.
Namun demikian, perbedaan pendapat yang muncul pada masanya disebut-sebut melahirkan gerakan di Tanah Minang untuk berkembang dan maju meninggalkan keterbelakangan. Kecamannya soal harta waris, misalnya, menumbuhkan kesadaran masyarakat Minangkabau bahwa tradisi matrilineal tidak dapat disejajarkan dengan hukum agama.
Pada 1881, Ahmad Khatib meninggalkan kampung halamannya. Ia dibawa ayahnya ke Makkah untuk menunaikan haji. Setelah menyelesaikan ibadah haji pada 1882, Ahmad Khatib tak pernah kembali pulang ke Indonesia. Ia memperdalam pengetahuan Islamnya dari beberapa ulama seperti Sayyid Bakri Syatha, Sayyid Ahmad bin Zaini Dahlan, dan Syekh Muhammad bin Sulaiman Hasbullah al-Makki. Setelah menyelesaikan studinya, sekitar tahun 1889, ia menikahi wanita Makkah bernama Siti Khadijah, putri dari Syekh Shaleh al-Kurdi, dan mengajar di sana.
Di Makkah, kesadaran Ahmad Khatib tentang pentingnya persatuan Islam terbangun. Ia merasa persatuan Muslim di Indonesia harus diperkuat untuk membebaskan negara dari kolonialisme. Pemikiran tersebut diwariskan pada murid-muridnya seperti Syeikh Muhammad Djamil Djambek (1860 – 1947), Haji Abdullah Karim Amrullah (1879-1945, ayah dari Buya Hamka), Haji Abdullah Ahmad (1878 – 1933), dan KH Ahmad Dahlan (1868-1923). Di Indonesia, murid-muridnya itu kemudian dikenal sebagai para pemimpin perjuangan kemerdekaan terhadap kolonialisme di daerah mereka masing-masing.