第二日一早，豆卢毓便在总管府摆下了鸿门宴，以自己和朱涛二人的名义招众文武前来议事。晋阳城中文武到了之后，豆卢毓便图穷匕见，自言自己奉天子之命，讨伐杨谅，现率领晋阳城拨乱反正。同时豆卢毓又拿出来天子的诏书，劝众人随他一同反正。
众人畏惧豆卢毓的兵权，也同样担忧杨谅怕是难以翻身，因此纷纷景从。当然其中也有杨谅的心腹，不愿背叛杨谅者，皆被豆卢毓派人直接当场杀死，以杀鸡儆猴。
之后被豆卢毓从监狱里放出来的皇甫诞来到众人面前，众人乃举皇甫诞总揽政务，又由豆卢毓总领晋阳城中的兵权，为皇甫诞之佐，握有实际权力。
皇甫诞等人乃征调城中壮丁，准备守城。乃令宿勤武守卫东门，宇文永昌守卫西门，元世雅守卫北门，长孙恒布则配合稽胡人守卫南门。
稽胡人进城之后，因军纪涣散，在城中无恶不作，百姓不堪其苦。奈何豆卢毓等人要依靠这些稽胡人来守卫城门，因此对于城中百姓的怨言，只得装作不知。而晋阳城中百姓本来因为汉王地位素来骄傲，受到稽胡人如此骚扰更是不满，因此民心涣散，皇甫诞、豆卢毓等人并不得晋阳城中百姓的支持。
刚开始众人为豆卢毓所执，只得同意豆卢毓的反叛计划，跟随他一同反叛。但之后众人眼看豆卢毓等人并没有那么强的实力，因此不少人起了别样的心思。
而且杨谅的王妃豆卢氏知道兄长背叛了杨谅之后，带着儿子杨颢亲自当着众人的面质问豆卢毓的背叛，逼得豆卢毓哑口无言，进退不能。豆卢毓无奈，只得将妹妹和外甥囚禁到杨谅的宫中，使之不能与外界接触。
豆卢毓此举，更是让杨谅一些的旧部不满，城中气氛压抑，人心动荡。
也不知是不是豆卢毓等人运气不好，本来众人预计杨谅要和朝廷大军相持一段时间，但杨谅败的太快，豆卢毓在晋阳城根本就没有做好防备。而且晋阳城中有杨谅的亲信偷偷潜出城去，向杨谅报信。
杨谅率领二万大军北上之事，豆卢毓毫无防备，等到杨谅到了晋阳城外十余里，豆卢毓等人才发现杨谅大军。众人大吃一惊，这才准备抵抗杨谅。
城中本就只有数千士兵，而且经过豆卢毓等人对军官的清洗，仓促之间，战力羸弱。皇甫诞又征发上万民夫守城，但因为稽胡人祸乱晋阳城一事，哪怕皇甫诞在晋阳城威望显著，百姓也对其严重不满。
含怒而来的杨谅驱兵至晋阳城下，眼看晋阳城城门紧闭，不纳其入，勃然大怒，乃令豆卢毓出来见他。
杨谅的大旗在城南高悬，南门的守卒皆是大惊，纷纷询问长孙恒布。杨谅在并州七年，朝廷盛选僚佐，前后长史、司马，皆一时名士，因此百姓负担不重，安居七年，使得杨谅在此颇得人心。
长孙恒布不敢直言对面的乃是杨谅，因此便说这些都是前来诈城的贼人。众人半信半疑，勉强应战，但兵无战意。
杨谅眼看豆卢毓不来见他，南门守将也没有应答的，因此命纥单贵率军攻城。
此时南门守卫的除了长孙恒布麾下，还有一群稽胡人，这些人并不认识杨谅。长孙恒布见自己麾下没有战力，便对这群稽胡人说道：“大败对面的贼军，并州府库任凭尔等搬运。”
稽胡人听到长孙恒布竟然要把并州的府库都给他们，纷纷大喜，乃拼命力战。
长孙恒布将并州的弩具一一分发给这些稽胡人，等待杨谅的士兵靠近之后，这些稽胡人便用弩机、弓箭射击城下。稽胡人可不管你是不是汉王，只有有好处，照杀不误。
杨谅看到城头上的军队，心中大怒。
纥单贵冲了两个回合，皆没有击破对方的箭雨。这时赵子开上前进言道：“大王，我军现在只有这两万人马，一旦损耗过多，哪怕攻下了晋阳城，等到黄明远来了，也未必可守？”
杨谅问赵子开计策，赵子开乃建议攻打其它城门。以汉王在晋阳城的威望，必有军队倒戈。
杨谅从计，乃转道西门。西门的守将是开府仪同三司宇文永昌，宇文永昌本来就不是一员骁将，等到杨谅靠近城门，向城上大喊之后，众人纷纷混乱，宇文永昌根本控制不了军队。
这时有人竟然打开城门，迎汉王杨谅入内，宇文永昌带人阻止，竟然被众人围攻，死于乱军之中。
汉王杨谅不费吹灰之力，乃进入晋阳城中。
西门一破，其她诸门也没有能力挽狂澜的能力。汉王叛军纷纷冲入城去，很快便占领了晋阳城，
开府仪同三司盘石侯宿勤武带着亲兵与汉王叛军在晋阳城中展开了巷战，宿勤武虽然勇武，但身边亲兵数少，最后战死于巷战之中。
其他诸人包括皇甫诞、成端、长孙恺、元世雅、皇甫文颢等人纷纷被俘，被献给了杨谅。杨谅对众人早就充满了怨恨，直接让人将成端、长孙恺、元世雅、皇甫文颢等人处死。
杨谅又亲自劝降皇甫诞，希望他能够归顺。毕竟皇甫诞在晋阳城的威望很高，又是名臣，杨谅还不想杀他。
但皇甫诞这次被俘，自知必死，乃破口大骂杨谅无父无君，乃是小人，令其悬崖勒马，早日投降。
杨谅被皇甫诞激怒，竟亲自拔刀杀了皇甫诞。
而城中豆卢毓知道汉王杨谅入城之后，知道汉王对自己的痛恨，自己虽然是其舅兄，但绝无幸免之理。因此豆卢毓乃于家中自缢而死。
长孙恒布在南门抗敌，忽然听到西门失陷的消息，骤然大惊。而其麾下将领，听到汉王入城的消息，也一哄而散，四散逃命。
长孙恒布无奈，乃打开南门，准备南逃。
稽胡人首领白铁干见汉王进城，知道得罪汉王狠了。今日汉王有数万大军，一旦报复，他区区千余人的稽胡兵根本无力阻挡。白铁干为了向杨谅请罪，竟然命人将长孙恒布捉住，献给了杨谅。
杨谅逼长孙恒布投降，长孙恒布不从，也被杨谅所杀。