因为山西北靠边境，李渊必须考虑突厥的问题。一旦突厥在这个关键的时候骚扰，或者直接被他人利用与他作对，那么自己的后方将不得安宁。所以早在起兵之初，李渊就已经想好了这个问题的解决方法。他知道突厥进犯中原无非是想得到粮食财物，就派刘文静出使突厥，以谦卑的态度与突厥交好，许给他们不少好处，希望自己起事时突厥能够率兵相应。其实李渊并没有真的指望他们会帮忙，只要能够不趁机从身后袭来，就已经是战略性的胜利了。这下一切准备周全，李渊终于可以放手作一番大事业了。 　　但李渊并没有急着自立门户，称王称帝。他知道这样会招来天下骂名，成为众矢之的，于是先建起了大将军府，设立三军，分立左右，十分齐整却不张扬。他命令世子李建成为陇西公、左领大都督，率左军；次子世民为敦煌公、右领大都督，率右军；谋士裴寂、刘文静等也都各司其职，井然有序。除此之外，他还开仓赈济贫民，在所辖境内废除苛捐杂税、大行仁政，使得远近归心，积极响应。 　　能得到百姓的拥戴，李渊的事业没有了后顾之忧，从此所向披靡，势力很快壮大起来，在相当短的时间内，他就收服了山西周边。看到自己的事业大有前途，雄心勃勃的李渊便将眼光放在了关中，直指天下。他任命四子元吉为镇北将军、太原留守，第二天就亲率甲士三万，由晋阳誓师出发，沿着汾河谷道南下河东，开始西图关中的征程。 　　但这次李渊却碰上了个出师不利。他遇到的第一个对手是驻守霍邑的隋虎牙郎将宋老生，这个人十分善战，他看到李渊逼近，并不急着与他们作正面冲突，而是屯兵坚守，以逸待劳，准备打消他们的锐气。这时恰巧又天连降大雨，道路泥泞，李渊部粮草供应十分困难，几乎陷入绝境。再加上外间谣传突厥将与刘武周乘虚攻袭大本营晋阳，出使突厥的刘文静又尚未归来，李渊心如乱麻，终于坚持不住，打算下达撤军的命令。但李世民坚持说不可半途而废，否则会让士气大损，再想东山再起就很难了。李渊听了，一时也犹豫不定。 　　幸好不久之后就雨过天晴，粮草也如期送到，让李渊的军队士气大振。北方又来了一支援军，那是刘文静说服了突厥的始毕可汗后，可汗派大将增援来的五百精兵和两千匹马。这无疑给了李渊极大的鼓舞，他立即重新组织进攻霍邑。这次他沉住了气，没有急着找宋老生决战，而是先派一些游击军去激怒宋老生。这一招果然有效，宋老生统兵三万由东门、南门出来迎战，李渊以退为进，吸引宋老生到城外一里的地方，又派李建成和李世民率军绕到宋老生部背后，切断他的后路，让人在乱军中大声喊话，说宋老生已经被斩，让大家快去逃命。结果宋老生的部众阵势大乱，溃不成军，宋老生也被斩于马下，李渊取得了第一次战役的决定性胜利。随后李渊兵分两路，一路由李世民率领，顺利攻下了屈突通固守的河东，另一路主力军则由他自己亲自率领西进，从壶口渡过黄河，扼守潼关，直取关中。