Dalam waktu yang tidak lama, datanglah Abu Ubaidah sambil menaiki seekor unta yang hidungnya diikat oleh tali. Dia mengucapkan salam kepada Umar bin Khattab, kemudian berkata kepada orang-orang, "Tinggalkanlah kami."
Maka Umar bin Khattab berjalan bersama Abu Ubaidah hingga tiba di rumahnya. Ternyata di dalam rumah Abu Ubaidah tersebut, Umar bin Khattab tidak mendapati barang apapun kecuali pedang, perisai, dan pelana kuda.
Maka Umar bin Khattab yang menjabat sebagai Khalifah berkata, "Mengapa kamu tidak mengumpulkan harta?"
Abu Ubaidah menjawab, "Wahai Amirul Mukminin, sesungguhnya barang-barang ini yang bisa mengantarkan kami ke akhirat dengan selamat."
Ahmad Abdul Al Al-Thahthawi dalam150 Kisah Umar bin Khattab, mengungkapkan, dapat diambil pelajaran bahwa Abu Ubaidah tidak memanfaatkan jabatannya sebagai Gubernur Syam untuk mengumpulkan harta dunia. Sebagai pejabat atau gubernur, hartanya tidak bertambah banyak.
Dalam riwayat lain, Abu Ubaidah berkata kepada Umar bin Khattab, "Untuk apakah kau datang ke rumahku? Sesungguhnya aku takut kau tak kuasa menahan air matamu begitu mengetahui keadaanku nanti.”
Sebab Umar bin Khattab mendapati rumah Abu Ubaidah sebagai Gubernur Syam kosong melompong, tanpa perabotan mewah.