前往兰门山祭祀，段业大惊，火速命人将沮渠男成逮捕，并下令命其自尽。沮渠男成在狱中收到诏书，大喊冤枉，对胁迫监督其自杀的段业使者哭道：“沮渠蒙逊图谋自立，早先已告之微臣，微臣因和其互为兄弟，并未揭发。其因微臣在世，担心部族不听其号令，便与微臣约定祭山，反来诬告。微臣若亡，沮渠蒙逊必反。请尊使转告大王，放出微臣已死之消息，沮渠蒙逊定然起兵，微臣再带兵出征，定然将其平定。”
使者赶忙带话给段业，然而段业不依不饶，终将沮渠男成赐死。
沮渠蒙逊听说沮渠男成已死，召集部众，大哭道：“沮渠男成忠心不二，却被段业冤杀，诸君愿为其复仇乎？且国中战乱，非段业之流所能应对。吾等兄弟当初拥戴其为王，认为其是陈胜、吴广之英雄，没想其却对谗言偏听偏信，杀害忠良，吾等岂能坐视不管，使百姓受难！”
沮渠男成为人忠厚，对部众甚有恩德，此时，沮渠部众人群情激奋，高喊：“复仇！”
沮渠蒙逊随即带领部众进逼张掖，沿途羌胡部族大多起兵响应，北凉郡县也纷纷归降。沮渠蒙逊率军很快抵达张掖附近之侯坞。
段业不顾大臣反对，命部将田昂等人迎战沮渠蒙逊。田昂率军赶到侯坞，因痛恨段业听信谗言，曾无故将其囚禁，直接率兵投降.
公元401年5月，沮渠蒙逊进兵张掖城下，田昂侄儿田承爱打开城门放沮渠蒙逊进城，段业身边文武大臣、侍卫宦官尽皆溃散而逃。段业无奈至极，恳求沮渠蒙逊放其返回关中老家，但沮渠蒙逊坚决不许，将其诛杀。
同年6月，田昂等人推举沮渠蒙逊为大将军、凉州牧、张掖公。沮渠蒙逊继承北凉国主，大赦境内。
此时，西北大地四国并立，秃发利鹿孤之南凉，沮渠蒙逊之北凉，李暠之西凉，吕隆之后凉，彼此攻伐不断，吕隆之后凉更成众矢之的，被北凉南凉夹攻仅保有都城姑臧周围之地，西凉又频繁骚扰北凉。就在众凉国分立之际，乞伏乾归之西秦与姚兴之后秦又发战争。
若知二秦相争，胜负谓谁，四凉攻伐，结果如何，请看下章。