Abu Ubaidah foi um dos primeiros muçulmanos e um daqueles que tiveram o Paraíso prometido. Ele fazia parte do clã Banu Fihr da tribo Quraysh. Sua genealogia se conecta com a do Profeta em um ancestral chamado Fihr.
Era conhecido também por seu apelido, "Guardião da Ummah".
Abu Ubaidah pode ter se tornado muçulmano através de um convite feito por Abu Bakr ou numa visita à casa do Profeta. Ele estava entre a segunda leva de migrantes para a Abissínia. Como os outros grandes Companheiros, Abu Ubaidah participou de todas as expedições militares. Ele esteve ao lado do Profeta na Conquista de Meca, no Cerco de Taif e na Peregrinação de Despedida. Durante o califado de Omar, Abu Ubaidah participou das conquistas da Síria que começaram durante o califado de Abu Bakr, servindo como comandante.
Ele adoeceu durante uma peste bubônica que acometeu a Síria, o Egito e o Iraque, que é conhecida como Peste de Amwas.