晋武帝死后，爆发了八王混战。随后，北方境内各游牧民族以匈奴族刘姓贵族为首，发动了反晋战争。（匈奴、羯、慕容鲜卑、氐、羌都是居住在当时国境内的少数族，与汉族同是中国人。）晋武帝时，匈奴左部都尉刘渊于公元三○四年起兵据左国城（山西离石县），自称汉王。三一六年，刘曜攻陷长安，西晋残留下来的一些文武官，全被俘获，晋愍帝做了降帝。他们都想投降求苟活，结果是受尽耻辱以后，在第二年都被杀死。汉国推翻了西晋谈信朝，西晋统治集团基本上消灭了。正当八王混战、匈奴、羯起兵反西晋、黄河流域陷入大混乱的时候，长江流域算是较为安静的地方，中原一部分士族和民众开始渡江来避乱。三○七年，晋怀帝任命琅邪王司马睿为安东将军，都督扬州、江南诸军事，镇建邺（晋愍帝时改称建康）。司马睿有了这个职位和地盘，来投靠的士族也就多起来，成为长江流域的中心势力。三一六年，晋愍帝被俘，西晋灭亡。三一七年，司马睿被推戴为晋皇帝（先称晋王，三一八年称帝），建立起东晋朝。东晋朝是王谢庾桓四大族势力平衡下的产物，王谢庾三族相继衰落，桓氏成为唯一的大族，骄奢淫昏毫无才能的桓玄便轻而易举地消灭了东晋朝。桓玄为盟主的诸藩镇，占据建康以西的州郡，朝廷政令只能施行在东方的会稽（治山阴，浙江绍兴县）、临海（治章安，浙江临海县）、永嘉（治永宁，浙江永嘉县）、东阳（治长山，浙江金华县）、新安（治始新，浙江淳安县）、吴（治吴，江苏吴县）、吴兴（治乌程，浙江吴兴县）、义兴（治阳羡，江苏宜兴县）八郡。五斗米道徒士族孙恩乘民心骚动，三九九年，从海岛率徒党百余人攻破上虞县（浙江上虞县），又攻破会稽郡，部众骤增至数万人。其余七郡同时起事，攻杀晋官吏、响应孙恩。晋将谢琰刘牢之率兵来攻，孙恩徒党逃到会稽郡。谢琰收复义兴吴兴两郡，刘牢之收复吴郡，进军到浙江边。孙恩掳男女二十余万人逃往海岛。此后孙恩连年从海路入寇。四○一年，孙恩率舟师十余万人自海路突袭京口，逼近建康，司马道子惊骇，不知所措，刘牢之部将刘稿碰裕奋勇进击，大破孙恩军。刘牢之等援军赶到建康，孙恩屡次战败，又逃入海岛。四○二年，孙恩入寇临海郡，被晋兵击败。孙恩穷困投海自杀。正当东晋朝全力攻击孙恩的时候，桓玄乘机吞并上游诸藩镇，占有东晋三分之二的土地。三吴破败，东晋朝失去了依靠，成为仅有空名的朝廷。桓玄认为含敬轮灭晋称帝的机会到了，与孙恩军逼近建康同时，桓玄在江陵聚众，谋夺取建康。四○二年，司马元显发兵要进攻桓玄，桓玄军却顺流而下，攻入建康，杀司马道子司马元显，政权全归桓玄。四○四年，桓玄废晋安帝，自立为皇帝，国号楚。孙恩乱后，东方诸郡大饥，一向腐朽的士族中人，这时候披着精制的罗衣，抱着心爱的金玉，关着大门整家整家地饿死。他们连掘些草根充饥的本领也没有，当然不会有人起来和桓玄争夺帝位。但是，桓玄也是腐朽已极的一人，他不可能维持既得的地位。当时存在着一个能够消灭桓族势力的人物——刘裕。桓玄刚登上帝位，刘裕便在京口纠集力量，率众一千七百人攻入建康，桓玄逃回江陵。晋兵杀桓玄，灭桓氏一族。刘裕恢复晋安帝的皇帝名义，自己在政治上武功上积极准备威望。四二○年，刘裕废晋帝，建立起宋朝。
