REPUBLIKA.CO.ID, Ia tertarik untuk terjun ke dunia politik dan menjadi anggota Partai Islam Indonesia (PII). Ia juga menjadi anggota Alliance Française (Perhimpunan Prancis) di Yogyakarta. Ia kemudian ditugasi Pemerintah Balatentara Dai Nippon (Jepang) mengeola Perpustakaan Islam yang didirikan di Jakarta.
Rasjidi berkiprah dalam bidang politik, birokrasi, dan diplomasi kenegaraan. Dalam Kabinet Sjahrir I yang dibentuk pada 14 November 1945, ia ditunjuk sebagai Menteri Negara. Jabatan itu diembannya bersama 14 orang menteri lainnya hingga 12 Maret 1946, selama kurang dari empat bulan.
Ia kembali dipercaya menjadi Menteri Agama dalam susunan Kabinet Sjahrir II dengan masa tugas hingga 2 Oktober 1946. Kabinet kedua ini terdiri dari 25 orang menteri.
Rasjidi mulai disibukkan oleh urusan diplomasi saat ia menjadi salah satu anggota delegasi RI yang dipimpin H Agus Salim pada Inter Asian Relation Conference di New Delhi, 23 Maret 1947.
Lalu setelah penyerahan kedaulatan, ia diangkat menjadi Duta Besar (Dubes) RI untuk Mesir merangkap Arab Saudi yang berkedudukan di Kairo. Dua tahun menjadi dubes di Kairo, ia dipindahkan ke Teheran sebagai dubes di Iran merangkap Afghanistan pada tahun 1953. Ia kemudian ‘libur’ dari kegiatan diplomasi saat menyelesaikan disertasinya di Universitas Sorbonne, Prancis, atas bantuan Rockefeller Foundation.
Rasjidi berhasil mempertahankan disertasinya tentang karya sastra Jawa yang ditulis pada 1814-1423, Tjentini, di hadapan sidang promosi pada 23 Mei 1956. Ia lulus dengan predikat cumlaude, dan berhak meraih gelar doktor, di tengah mengemban tugas sebagai anggota perwakilan Indonesia di PBB yang saat itu bermarkas di Paris. Ia menyelesaikan disertasinya di bawah bimbingan seorang orientalis ternama, Louis Massignon.
Dalam disertasinya, seperti ditulis dalam Ensiklopedi Islam (1993), Rasjidi menyebutkan bahwa ada dua macam stabilitas. Pertama, stabilitas karena keyakinan dan kesadaran seperti yang terjadi di negara-negara maju. Sedangkan stabilitas kedua adalah yang dibangun di atas kebodohan, seperti stabilitas Indonesia pada zaman penjajahan.