穆罕默德在麦加公开宣教十年后，反对者对他的迫害也达到了极为猖狂的地步。为了保护贫弱信士们的生命安全，他派遣一些穆斯林到埃塞俄比亚寻求庇护。在那里，当时的基督教统治者保护了他们。此事件对于当今的穆斯林都有着十分重要的影响。但是在麦加，来自多神教徒的迫害越来越残酷。穆罕默德的追随者们受到折磨、虐待，甚至拷打。最后，穆罕默德命令70位早期的追随者到北部城镇叶斯里布，并希望在那里建立新阶段的伊斯兰运动。该城镇从此也更名为“麦地那·奈比”（al-Madinah al-Nabi，意为“先知之城”），简称“麦地那”。之后，即622年，他和他的密友艾布·伯克尔一同迁徙，从而使麦加贵族杀害他的阴谋没有得逞。

当时在麦加，谋害者冲进穆罕默德的家时，发现在他的床铺上睡觉的是他的堂弟阿里。愤怒的麦加人悬赏缉拿穆罕默德的人头，并派人追杀。穆罕默德和艾布·伯克尔躲藏在了一个山洞里，因安拉的护佑，麦加人经过此山洞却没有发现他们，因此，穆罕默德和艾布·伯克尔逃过敌人的搜捕追击继续向麦地那转移。在麦地那，他受到了麦地那人以及在他们之前到达的穆斯林的热烈欢迎。

这就是迁徙（Hijrah，希吉来，英语音译为Hegira，但也有误译为“Flight”逃走），以此而成为伊斯兰的新纪元。事实上，希吉来并不是逃走，而是精心设计的迁移，不仅标志着步入了新的历史阶段——伊斯兰时代的开始，而且对于默罕默德和穆斯林来说，是一种新的生活方式的开始。自此以后，社会的组织原则不再局限于血亲关系，而是“凡穆民皆兄弟”的更宏大的手足情谊。那些同穆罕默德一同迁徙而来的人们，被称之为“迁士”（Muhajiroon，穆哈吉勒），而归信了伊斯兰的麦地那原居民，被称之为“辅士”（Ansar，安萨尔）。

穆罕默德非常了解麦地那的状况。早期，即在迁徙之前，就有许多麦地那人来到麦加参加朝觐，先知当时利用这一机会号召他们归信了伊斯兰。故，许多返回到麦地那的人再次听到他的号召，便接受了伊斯兰。他们同时盛邀穆罕默德居住在麦地那。迁徙之后，穆罕默德的非凡品质对于麦地那的敌对部落产生了深刻的积极影响，他也同他们的盟军暂时保持了紧密的合作，直到624年3月15日，穆罕默德和他的支持者武力抵抗来自麦加的多神教徒的进攻。

第一次战役，发生在麦地那西南地区的小镇——白德尔附近，史称“白德尔之战”，在伊斯兰历史上具有非常重要的影响。首先，穆斯林军队的数量只占麦加人数的三分之一，却依然以少胜多，打败了麦加人，并大获全胜。其次，训练有素的穆斯林军队第一次向那些曾把他们从麦加自己的家中驱除出去的麦加人给予了威慑。第三，曾宣誓要在白德尔之战支持穆斯林的一个联盟部落，正当战斗打响时，他们却背叛联盟，弃战而去，欲置穆斯林于死地，故在此次战争之后从麦地那被驱逐了出去。那些曾宣称是穆斯林盟友的人们，其实暗地里却反对穆斯林，从此事件中受到了严厉的警告：作为社会一员，欺骗是要付出一定的代价的。

一年以后，麦加人又发起反攻。全副武装的麦加军队同穆斯林军队在麦地那郊外的吴侯德高地相遇，史称“吴侯德之战”。在初次的胜利之后，由于以背向敌的“伪信者”临阵脱逃和弓箭手擅自撤离阵地，致使穆斯林军队失利，而被迫撤退，穆罕默德自己也身负重伤。然而，穆斯林没有完全被击败。两年后，麦加人率1万军队又对穆斯林发动进攻，史称“壕沟之战”，又称“联盟之战”。在战争爆发之前，穆斯林在麦地那城郊周围挖掘又宽又深的防卫战壕予以固守，麦加联军骑兵多次设法通过壕沟，都被守卫者集中优势兵力给予重创，迫使他们溃退下去，步兵若接近壕沟，守军则以弓箭射击，麦加人被迫星夜收兵撤退，联军大败。穆斯林在这次战争中取得了决定性的胜利，由此在战略上由防御转入了进攻。从此以后，麦地那完全被穆斯林掌管。