李渊借着和李世民演双簧的机会，终于暂时说动众人，不再撤兵。但是这只是治标不治本的办法，只要唐军长时间攻不下霍邑，众人还是会再次提起返回太原的议论，到时候就不是这么容易便能压下的了。
现在空喊口号没有用，还得让大家感到希望。
但霍邑坚城，不是那么容易攻破的。
这时李世民便向李渊建议道，此地为霍邑，旁边便是霍山，传闻霍山有山神，是东方天帝的次子，掌管海内名山，河东不少人皆信之，可为一助。
霍邑有一夫当关之险，韩信岭易守难攻，唐军很难从正面攻破霍邑。但李渊打听到，霍山西麓有一条贩运私盐的小路，可绕过霍邑城，直通霍邑背后，于是他心中便有了定计。
当日傍晚，李渊便让人装扮成一个白衣老人，前来军民拜谒。
此人穿着打扮，处处透露着与常人不同，很快便引得一军将士围观。
这人见到李渊便说道：“余为霍山神使，是来拜见唐公的。”
李渊不信，便问道：“神本不测，卿何得见卿非神类，岂其神言。”
这老人便说道：“十二月雪停，路出霍邑东南，吾当济师，可为吾立祠庙也。”说完便不见了。
李渊派人前去查探，果然发现了这条小道。李渊便大喜道：“天无绝人之路，此神不欺赵无恤，岂负我哉！”仿佛真的有神灵相助。
赵无恤便是赵国的奠基人赵襄子，《史记·赵世家》记载，春秋晋国，智伯联合韩、魏两家攻打赵氏，赵襄子被逼离开绛都，逃往晋阳。赵襄子的部下原过在追赶途中，经过王泽（今新绛西南）时，路遇三个人拦阻。
这三人告诉原过，他们是霍山神的天使，交给原过两节竹管，让他带给赵襄子，让他按朱书写的意思办事。三月丙戌，保证他能消灭智伯，还能以霍邑为基础，扩大地盘，将来占有林胡之地。
后来晋阳之战，赵襄子派张孟谈说服了韩氏、魏氏倒戈，正好在三月丙戌这一日水淹智伯大营，灭了智家。
赵襄子为感谢霍山神传授朱书，遂于霍山观堆峰为其建祠，并命原过管理祭祀事宜。到赵武灵王时，赵国果然占有了林胡之地。
这个故事很多人都听说过，此时再次听闻霍山神出现，还为李唐大军指明道路，纷纷大喜，视作神佑。一时之间，李唐大军的士气高涨起来。
到了次日，大雪初停，李渊乃命其子李世民率领千余精骑东走霍山，从小路绕到霍邑的东南方向，而他本人又亲自率军攻城。
李渊带着众人来到霍邑城下，鼓噪进兵。宋老生命令城头上的隋军射箭还击。一时之间，箭矢如雨，竟有箭矢射到李渊身前。
李渊见状，趁机往后倒去，落到马下，他身旁的王长谐、武士彟立刻上前将他护住，然后抱着他往后而去。
在城头上的宋老生见到李渊落马，心中大喜。只见李渊身边亲军混乱，挤在一起，料想李渊即使不死，怕也是重伤。
宋老生身边的将领便纷纷劝道，不若趁着李唐贼军混乱，趁机出击，斩杀李渊，得建大功。
宋老生虽然之前定下了坚守的策略，但也没想到今日能重伤李渊。思索再三，终究还是不愿丢了这唾手可得的功劳，于是下令，全军出击。
此时还在中军指挥的李建成，见隋军出击，立马下令全军撤退，引宋老生追击。
宋老生见唐军狼狈撤离，更是觉得必胜，于是率领骑兵，渐渐离得城门远了。而唐军等得便是这个机会。
此时已经返回本阵的李渊见状，立刻命大军击鼓示意。
而一直埋伏在霍邑城东南方向的李世民听得此消息，立刻和窦琮二人率领骑兵杀了出来，直奔宋老生军的后方而去。
李世民麾下的骑兵不过千人，但俱是精锐。而宋老生的后军被袭，立刻混乱起来。
一时之间，隋军开始乱了起来。
李世民继续率军冲阵，又分出数百人予窦琮，令其攻击城门。
此时宋老生突遭打击，立刻便反应过来，中了唐军的计了，便下令撤退。但四面的唐军围了上来，李世民又率军断了宋老生的后路，他往哪里逃啊。
不过宋老生也是顽强，率领部队，拼死抵抗。
李世民军队虽然精锐，但只有数百人，双方相持下来，伤亡一多，便有些撑不住了。
此时长孙顺德从后面杀出，冲上前去，一箭射中宋老生肩膀。宋老生正在激战，措不及防，中箭之后便从马上摔了下来，掉到了沟底。
李渊眼尖，看到宋老生落马，立刻让人高呼道：“唐军已经抓住宋老生！唐军已经抓住宋老生！”
宋老生的部下看不到宋老生，本就心惊，听到唐军的呼声胆战心惊，不少人掉头就跑，直往霍邑城逃去。
整个隋军更混乱了，成了溃败之势。
而与李世民分兵的窦琮则率领数百人，直冲霍邑城门，城门守军根本来不及关闭，便为对方破门而入。
在两翼的王长谐和刘弘基二人，也率军从两侧包抄，抢入城门。
被射伤的宋老生差点摔死，从壕沟里爬起来，便看到四面混乱的场面，他提着长槊，立刻就要组织军队，但哪里还有人听他的。
两名亲兵拥在身前，护持着宋老生撤退。
但道路尽为溃兵所阻，根本前进不得。而宋老生又受了伤，行动不便，更无法骑马。
三人被乱军拥着，狼狈不堪。
而在军中的刘弘基正好望到狼狈逃命的宋老生。他一勒战马，轻骑而出，直奔宋老生而去。
马蹄飞快，两侧士兵尽如波涛一般分开。刘弘基持矛杀入宋老生面前，马蹄悬空，举矛便刺。
宋老生尚无防备，便看到一柄闪着寒光的长矛，向他刺来。
刘弘基一矛刺死宋老生，又命人将其砍下脑袋，挂在旗杆之上，往城头而去。
城中守军见到宋老生战死，更无战意，纷纷投降。
唐军遂顺利攻下霍邑城。霍邑既下，唐军成功打开了进军汾、绛诸郡的大门。