他们纷纷开始谋求建立自己的政权，率先发难的是匈奴贵族刘渊。身为贵族的刘渊长期居住在汉族政治文化中心，熟读史书、兵书以及儒家经典，深受汉文化影响。八王之乱中，刘渊趁乱逃离洛阳，跑到左国城五部匈奴共同推举他为大单于。公元304年，刘渊建立汉国。从刘渊开始百余年间，生活在西晋西部、北部及东北部的游牧民族匈奴、鲜卑、尐枪底先后建立了大大小小几十个国家，与中原王朝进行对峙，这就是后人所说的五胡乱华。随着刘渊势力的扩大，各地乞士的队伍纷纷投到他的帐下，其中包括奴隶出身的羯族人石勒。在接下来与西晋军队的战争中，石勒成为了决定西晋命运的关键人物。公元311年，石勒率领铁骑在宁平城展开了一场大屠杀，死者多达十余万。不久，石勒、王弥同刘耀一起会攻洛阳，同年，刘曜攻克长安。西晋的最后一位皇帝晋愍帝袒肩露背口含玉喜乘坐洋车，以最屈辱的方式求降。这时距晋武帝击灭东吴、统一全国仅仅过去了37年。