كان أفقه من صحار وأبي نوح صالح الدهان، وكان المقدَّم عليهما، وَعلى جعفر بن السمَّاك. وطَّن نفسه على طلب العلم والاستفادة منه، فقد مكث في التعلُّم طالبا أربعين سنة، ثمَّ مكث بعد ذلك في التعليم أستاذا أربعين سنة أخرى.
ونظرا لنشاطه الدؤوب تعرَّضت له عيون الحجَّاج بن يوسف الثقفي، فأدخله سجنه، ولم يخرج منه حَتَّى هلك الحجَّاج سنة 95هـ/713م، فأفرج عنه ليعود إلى نشاطه العلميِّ والدعويِّ، فتولَّى إمامة الإباضيَّة بعد الإمام جابر بن زيد الذي توفِّي سنة 93هـ/711م. فإذا كانت الإباضيَّة عرفت إمامتها العِلمِيَّة في شخص الإمام جابر بن زيد الأزديِّ، وإمامتها السِّيَاسِيَّة في شخص عبد الله بن إباض المرِّي التميميِّ، فَإِنَّهَا عرفتهما معًا في شخص أبي عبيدة مسلم بن أبي كريمة، الذي بعثه الله على رأس المائة الثانية ليحيي لِهذه الأُمَّة أمر دينها؛ فخلف جابر بن زيد وتابع أعماله وإنجازاته، ونظَّر للنجاحات الكبيرة التي حقَّقها الإباضيَّة في خلال عهده في النصف الأَوَّل من القرن الثاني الهجريِّ.
أنشأ مدرسة في سرداب قرب البصرة، بعيدا عن عيون بني أميَّة.
وإمعانا في التمويه ادَّعَى صنع القِفاف وتعليمها حَتَّى سُمِّيَ بالقفَّاف.
أنكر أيَّ عمل مباشر ضِدَّ الدولة الأُمَوِيَّة. وشكَّل شبه حكومة سرِّيَّة، تولَّى فيها بنفسه مهامَّ شؤون الدين والدعوة.