كان اسلام أهلها على مراحل، لم يكن اليمن قبل الإسلام دولة لها قيادة موحدة، وانما كانت مجموعة من القبائل تتقاتل مع بعضها البعض وتتناحر، وكانت صنعاء وعدن وما حولهما تابعة للحكم الفارسي، ونصارى نجران تابعة للحكم الروماني، فدخل الاسلام بالتدريج بالدعوة السلمية وعن طريق السرايا والبعوث التي كان يرسلها الرسول صلى الله عليه وسلم فكانت المرحلة الأولى: اسلام أفراد من قبائل مختلفة، مثل أبي موسى الأشعري من قبيلة الأشاعرة، والطفيل بن عمرو من دوس، وقيس بن نمط من همدان ونشط هؤلاء للدعوة الى الاسلام في قبائلهم.
المرحلة الثانية: اسلام باذان الذي عينه كسرى عاملا على اليمن، وكان يحكم صنعاء وعدن وما حولهما، وأسلم كل الفرس تقريبا التي في اليمن، وذلك في السنة السادسة، ومات بعد ذلك، وتولى الأمر بعده ابنه شهر بن باذان، وفي عهده ظهر الأسود العنسي الذي ادعى النبوة، وأسمه عبهلة بن كعب وقد سمي بالأسود لأنه أسود اللون والعنسي نسبة الى قيبلة عنس، وكان سيدا على بعض قبائل اليمن، قوي البنية، حلو اللسان، ويغطي وجهه بخمار، لذلك كان يلقب بذو الخمار، وكان مشعوذا وساحرا يستخدمه لإقناع أتباعه، فأعلن العصيان على النبي، وكان ذلك في محرم من السنة الحادية عشر من الهجرة قبل وفاة النبي صلى الله عليه وسلم بشهرين فقط، وتبعته كثير من قبائل اليمن تعصبا، استولى على نجران ثم سار الى صنعاء ومعه سبع مئة مقاتل فخرج اليه شهر بن باذان ملك اليمن المسلم وتقاتلا، فغلبه الأسود العنسي وقتله، وتزوج من امرأته آزاد، وعين ابن عمها فيروز الديلمي عاملا له على الفرس في اليمن، وأصبحت أغلب مناطق اليمن تحت حكمه لمدة خمسة وعشرين يوم فقط، وقد اقنع قومه أنه نبي يوحى إليه وارتد خلق كثير من اليمن، فأرسل النبي صلى الله عليه وسلم الى المسلمين في اليمن يأمرهم بقتال العنسي، فاتفق فيروز مع بنت عمه آزاد على قتل الأسود العنسي، فسقته الخمر حتى نام، ودخل فيروز فقتله وسمع الحراس صراخه، وكان على بابه ألف حارس، وسألوا عما يحدث فأجابتهم آزاد زوجته: النبي يوحى اليه ثم أذن المسلمون في صنعاء لصلاة الفجر وأعلنوا الخبر، وعلم النبي صلى الله عليه وسلم بما حدث عن طريق الوحي، فقال لصحابته: (لقد قتل الأسود العنسي الكذاب)، قالوا: من قتله يارسول الله؟ قال: (قتله العبد الصالح فيروز الديلمي)، وكان مقتله قبل وفاة النبي صلى الله عليه وسلم بأيام فلما وصل خبر مقتله للمدينة كان الصحابة مشغولون بدفن النبي صلى الله عليه وسلم، وفي عهد عمر بن الخطاب جعل فيروز والي على بعض اليمن، ثم أرسل اليه عمر حتى يقدم عليه الى المدينة المنورة فلما جاء واراد أن يدخل على عمر زاحمه على الباب ناس من قريش، فضرب فيروز شاب من قريش على انفه فدخل الرجل على عمر وأنفه تسيل منها الدماء، واشتكى الشاب الى عمر فقال عمر: ماهذا يا فيروز؟ فقال: يا أمير المؤمنين لقد كتبت إلي، ولم تكتب إليه، وأذنت لي بالدخول، ولم تأذن له فقال: القصاص فجلس فيروز على ركبيته وقام الفتى القرشي ليقتص منه فقال عمر: على رسلك أيها الفتى حتى أخبرك بشيء سمعته من رسول الله صلى الله عليه وسلم قال الفتى: مالذي سمعته من رسول الله يا امير المؤمنين فقال عمر: سمعت رسول الله صلى الله عليه وسلم يقول: لقد قتل الأسود العنسي الكذاب قتله العبد الصالح فيروز الديلمي ثم نظر عمر للفتى يسأله: أفتراك مقتصا منه بعد إذ سمعت هذا من رسول الله صلى الله عليه وسلم؟ فبكى الفتى وقال: قد عفوت عنه، قد عفوت عنه يا اميرا المؤمنين فصاح فيروز: أشهدك يا أمير المؤمنين أن سيفي وفرسي وثلاثين الف من مالي هو هبة له فقَالَ عمر للفتى: عفوت مأجورا يا أخا قريش، وأخذت مالاً.
