Hal itu terbukti saat Rasulullah meminta Abu Ubaidiliah memimpin pasukan ke perang Khabat, Abu Ubaidiliah memimpin pasukan sebanyak 315 orang. Perbekalan yang diberikan adalah sekeranjang kurma. Namun, Abu Ubaidiliah menerima itu semua penuh keihlasan. Dia tetap merasa senang dan bersemangat menunaikan tugas itu.
Pasukan pun berangkat Awal-awal pasukannya mendapat bekal segenggam kurma per hari. Makin lama bekal makin menipis hingga bekal yang diterima tiap orang hanya satu butir kurma per hari. Saat persediaan kurma sudah habis, Abu Ubaidillah menyemangati pasukannya. Dia meminta pasukannya mencari daun Khabat, ditumbuk, dan diminum airnya.
Dalam kondisi seperti itu pun, Abu Ubaidah tetap semangat menjalankan tugas. Semangat itu terus ia tularkan pada pasukannya. Hingga mereka fokus pada tugas yang sedang diemban. Tak ada satu pun prajurit yang ingin berhenti karena mereka merasa yakin dan tenang bersama pemimpin sekelas Abu Ubaidillah.
Pada suatu hari datang sekelompok kaum Nasrani Najran menghadap Rasulullah. "Wahai Abai Qasim,” ujar pemimpin kelompok. "Kirimkanlah kepada kami seseorang yang bisa menyelesaikan permasalahan dalam kaum kami. Sungguh kami percaya dan ridha dengan keputusan kaum muslimin.”
“Esok hari, aku akan mengutus bersama kalian orang yang terpercaya. Dia benar-benar terpercaya. Dia benar-benar terpercaya. Dia benar-benar terpercaya.” jawab Rasulullah.
Berita itu tersebar di kalangan para sahabat. Banyak di antara mereka yang berharap terpilih. Bukan karena mereka ingin terkenal, tapi mereka ingin mendapatkan penghargaan sebagai orang yang terpercaya. Bayangkan, Rasulullah sampai menyebutnya tiga kali! Bahkan orang seperti Umar bin Khattab yang tidak merindukan jabatan dalam hidupnya sampai pernah berharap dialah yang dimaksud Rasulullah.
Setelah selesai shaiat, Rasulullah menatap sahabatnya. Ada Abu Bakar, Umar bin Khattab, dan sahabat dari kaum Muhajirin maupun Anshar. Lalu tatapannya berhenti pada sosok Abu Ubaidillah. Beliau memanggilnya, “Pergilah bersama mereka Putuskan perkara mereka dengan kebenaran.”
Sejak saat itu Abu Ubaidillah dikenal sebagai kepercayaan umat. Hal itu diperjelas oleh Rasulullah dengan sabdanya, “Setiap umat memiliki orang kepercayaan. Dan kepercayaan umat ini adalah Abu Ubaidillah bin jarrah.”
Abu Ubaidillah mengenal Islam melalui dakwah Abu Bakar ra., di awal-awal kemunculan Islam, bahkan sebelum proses dakwah di rumah Arqam bin Arqam. Setelah mendapat penjelasan dari Abu Bakar, Abu Ubaidillah menyadari kebenaran yang terkandung di dalamnya. Bersama Abdurrahman bin Auf, Ustman bin Mazh'un, dan Arqam bin Arqam menghadap Rasulullah dan mengucap dua kalimat syahadat
Bagi Abu Ubaidillah, keimanan pada Allah SWT, dan Rasul SAW., adalah yang paling utama dalam hidup. Dia tidak segan-segan mengangkat senjata terhadap kemusyrikan, meski yang dihadapinya adalah keluarga atau kerabatnya sendiri.
Seperti yang terjadi saat perang Badar, Abu Ubaidillah terpaksa bertemu dengan keluarga, kerabat teman, tetangga yang masih dalam kondisi musyrik. Dia juga melihat sosok itu. Sosok yang dulu sangat dibanggakannya. Sosok yang sudah memelihara dan menyayanginya sebagai anak. Sosok ayahnya sendiri.
Ada perasaan sedih melihat pasukan yang akan dilawannya. Namun, setelah perang berkecamuk, yang ada dalam pikirannya hanya kemenangan Islam dan keselamatan Rasulullah. Tak diduga, ayahnya justru mencarinya di tengah pertempuran dan mengajaknya bertanding. Saat itu kata-kata sudah tidak terdengar. Maka terjadilah pertandingan antara ayah dan anak yang berakhir pada tewasnya sang ayah.
Ada satu peristiwa yang menarik saat Abu Ubaidillah diangkat sebagai panglima perang menggantikah Khalid bin Walid. Khalifah Umar bin Khattab mengiriminya surat tugas sebagai panglima. Bisa saja saat itu juga Abu Ubaidillah menghadap Khalid dan menunjukkan surat dari Khalifah. Tapi apa yang dilakukan Abu Ubaidillah?
Saat itu dia melihat kondisi pasukan Islam sedang menghadapi peperangan yang menentukan. Jika terjadi pergantian pemimpin bisa jadi fokus pasukan akan terbelah. Maka, Abu Ubaidillah menunggu sampai perang dimenangkan oleh tentara Islam. Barulah dia menghadap Khalid bin Walid dan menunjukkan surat Umar bin Khattab.
"Semoga Allah memberimu rahmat Wahai Abu Ubaidillah. Mengapa tidak engkau sampaikan saat kau terima surat ini?” Tanya Khalid bin Walid.
“Aku tidak ingin menghentikan peperanganmu. Bukanlah kekuasaan dunia yang kita tuju, dan bukan pula untuk dunia kita berbuat. Kita semua adalah saudara yang memperjuangkan agama Allah "Jawab Abu Ubaidillah bijak.
Abu Ubaidillah menjadi panglima tentara di negeri Syam. Prestasi terbaiknya bisa meningkatkan jumlah pasukan dan meluaskan wilayah Islam. Tapi Abu Ubaidillah tetaplah sederhana. Pernah suatu hari saat mengunjungi Syam, Umar bin Khattab mencarinya. "Di mana saudaraku?” Ujar Khalifah.
“Siapa dia, Wahai Khalifah Umar?”
“Abu Ubaidillah bin Janah.”
Abu Ubaidillah datang, Umar pun langsung merangkulnya. Abu Ubaidillah pun mengajak Umar ke rumahnya. Apa yang dilihat Umar? Tidak ada perabot mewah di rumah sang panglima perang. Yang ada hanya pedang, sebuah perisai, dan pelana kuda. Umar pun tersenyum melihat pemandangan itu. “Kenapa engkau tidak hidup seperti kebanyakan orang?” Tanya Umar pada Abu Ubaidillah.
“Wahai Khalifah, tempat seperti inilah yang bisa membuatku istirahat”
Pada sebuah majelis Umar bin Khattab pernah bertanya pada semua yang hadir, “Apa cita-cita tertinggi kalian?”
“Wahai Khalifah, seandainya ruangan ini dipenuhi uang emas, aku akan menginfakkan semuanya di jalan Allah.” Jawaban itu ternyata tidak memuaskan Umar bin Khattab, hingga dia pun mengulang pertanyaan yang sama.
“Wahai Khalifah, jika tempat ini dipenuhi emas dan permata, aku akan menginfakkan semua di jalan Allah.” Lagi-lagi bukan itu jawaban yang diinginkan Umar.
“Lalu apa kah yang engkau inginkan, Khalifah?” Tanya orang-orang penuh rasa ingin tahu.
“Seandainya aku bercita-cita, maka aku berharap ruangan ini dipenuhi laki-laki seperti Abu Ubaidillah bin Jarrah.” jawab Umar.
Suatu hari, saat Khalifah Umar sedang menyelesaikan masalah umat, sebuah kabar datang dari Yordania. Utusan itu membawa berita kematian Abu Ubaidillah bin Jarrah. Umar bin Khattab langsung menangis. “Semoga rahmat Allah terlimpah bagimu wahai saudaraku," ujar Umar sebagai tanda perpisahan.
Umar ra., pun mengulang kata-kata yang menunjukkan keinginan terbesarnya, “Maka aku berharap ruangan ini dipenuhi laki-laki seperti Abu Ubaidillah bin ]arrah.