雀鼠谷与贾胡堡之所以显得如此险要，是由汾水东西两侧的霍山（太岳山）与吕梁山的夹峙而形成，而霍邑正处在这狭长隘路的南口，李军若不将之拔出，根本无法继续进军，所以霍邑之战，是不得不打的。
李渊怕宋老生不出战而坚守霍邑，使得战事陷入持久之中，便没轻易下令进攻霍邑城，让大军安下营寨后，召集众将商议进攻霍邑之事。
李建成、李世民似乎都有了定计，正要说话，李隐却抢先道“宋老生有勇无谋，我们用轻骑向他挑衅，按理他不会不出战，假使他坚守不出，我们就诬陷他对我们有二心，他害怕被左右的人奏报，怎敢不出战？”
李渊听后，拍手称赞道：“吾儿说的有道理，在贾胡堡时宋老生未能迎战我军，我就知道他是无能之辈。”
李建成、李世民对此感到有些郁闷，因为李隐之言，正是他们两个刚才说出到嘴边的话。
李渊立即调兵遣将，命李隐率本部的五千精锐骑兵，先到霍邑城东面几里外的地方等候战机，然后派李建成、李世民率领几十骑到城下，举鞭挥旗就像要包围城池的样子，并且辱骂宋老生。
宋老生果然受不得如此侮辱，顿时大怒，亲率三万人从东门、南门分道出战。李渊派殷开山立刻去召集后军，后军来到后，李渊就和李建成在城东列阵，李世民在城南列阵。
李渊、李建成所部率先与宋老生的人马厮杀在一起，李世民所部也随之在城南与敌军展开交战。
一时间，战场上喊杀整天，血肉横飞，决定李家命运的霍邑之战正式打响。
李家的军队与宋老生的军队交战一阵子后，李家军队战斗力毕竟稍逊宋老神这支从关中带来的精锐，所以渐渐有些不支。
裴寂见了这情形后，一脸的惊惧，向李渊颤颤道：“大……大将军，我们的人马似乎顶不住了，要不……要不……”
裴寂原本是想劝李渊后撤一些的，但一旁的刘文静却对他怒视了一眼，裴寂心中一寒，说到嘴边的话便被逼了回去。
李渊大声喊道：“请各军务必再顶住，我儿李隐定能在最后帮我们扭转占据！”
李渊对此战的最大依仗，自然便是李隐亲自率领的五千骑兵了。就在双方交战进入最胶着的时候，忽然之间轰鸣的马蹄声响起，李隐终于不负众望，从南原率兵驰马而下，冲击宋老生的军阵，出击宋老生军的背后。
李隐挥刀砍杀，亲手杀死几十人，两把刀子都砍缺了口，飞溅的鲜血沾满衣袖，李隐将衣袖上的血甩掉再战。
原本已有些奔溃迹象的李家军队，见到此等情形后，兵势又振奋起来，李渊还趁宋老神军队队伍被李隐的骑兵冲击得有些混乱之际，派人四处呼喊道：“李军已经抓住宋老生了！”
宋老生军于是开始出现溃逃，李渊精神一阵，指挥大军掩杀过去，宋老生军士气大跌之下，最终抵挡不住，因此大败而去。
李渊指挥军队迅速直抵城门，堵截宋老生，不让溃军进城，宋老生混乱中无处可逃，不得已下马跳入壕沟，想在其中躲避一会再做计较，却被路过的刘弘基一眼认了出来，刘弘基于是手起刀落，一刀将宋老生砍成了两段。
这一战，隋军的死尸遍布了几里。
这时天已黑了下来，但李渊立即命令大军趁胜追击，立即登城攻打霍邑，当时没有攻城的器械，只要简陋的云梯，将士们赤膊登城，由于主将宋老生已死，霍邑城中士气低迷，根本无心抵抗，于是李家军队很快攻下霍邑，霍邑之战，最后以李军的胜利而告终。
霍邑之战无疑是至关重要的一战，此战过后，朝廷防范李家军队入关途中极为险要的霍邑被李家攻占，入关的大门再次被李军打开了几分。
霍邑之战中李军也受了一定程度的损耗，李渊便下令让大军暂时在霍邑休整。
休整的同时，李渊还开始奖赏攻取霍邑的有功将士，有些军吏认为奴隶身份应募的人不能和良人同样论功。
李渊道：“矢石之间，不分贵贱，论勋之际，何有差别？出身无论是贵是贱，都应该同样按功颁赏授官。”
如此奖赏颁布后，李军的士气立即大涨了许多。
六月初八，李渊接见了霍邑的吏民，慰劳赏赐，如同西河郡一样，并挑选霍邑强壮的男丁从军。祖籍在关中的军士要回乡的，都授予五品散官，让他们回去。
有人劝李渊说授官太多，李渊道：“隋氏吝惜勋位赏赐，因而失去人心。我怎么能效仿他们？况且用官职来收拢众人，不胜于兵乎！”
众人听李渊这样说后，都觉得有道理，便不再相劝。
就在李家攻下霍邑的时候，占据陇右地区的薛举也准备要亲率大军去夺长安。不过薛举的大军还未集结，便又消息传来，他底盘后方的河西地区，全都被一个叫李轨的人占领了。
李轨是河西地区的著名豪望，为人机智多谋，能言善辩，且家中富有，喜好侠义之举，故为乡里称赞，现在为武威郡的鹰扬府司马。
薛举在金城作乱时，李轨和同郡的曹珍、关谨、梁硕、安仁等人商议道：“薛举成势后，必定前来侵犯河西地区，郡官昏庸、怯懦，看情势抵御不了薛举的，但我们怎么能毫不抵抗就让自己和妻子儿女作人家的俘虏呢？不如大家同心协力共同抵抗薛举，据保河西以等待形势发生变化。”
大家都认为这个意见很对。想推举一个人为首领，大家各自推让，不肯出来为首。
曹珍道：“我久闻图谶上说李氏应当为天子，今天司马李轨也参加了这一谋划，这难道不是天命吗？”
于是大家一同向李轨跪拜，奉他为主，李轨推辞几下后，便也接受了众人的跪拜。
由此可见，某个图谶一旦流行起来后，确实是有着不一般的隐形力量的，因着“李氏当为天子的”的这个图谶，这时的天下，叛军首领中姓氏最多的，便是李姓了。