经过半年多的策划部署，李渊于大业十三年（617）七月正式举兵，汇入了当时已是波澜壮阔反军四起的反隋洪流。

　　当时的形势是，翟让与李密的瓦岗军、窦建德的河北义军、杜伏威等人的江淮军已经成为反隋的三大主力军团，龟缩江都（今扬州一带）的大业天子实际上早已无力掌控全国的局势了。李渊所在的河东之地更是群雄并起，光依附北方突厥始毕可汗自立为王进而以天子自命的就有定杨天子刘武周、解事天子梁师都、平杨天子郭子和（后更号“屋利设”）以及自号“刘王”的胡人刘龙儿。

　　那些人官卑位低，当然与李渊皇亲国戚朝中重臣的身份地位不一样，其影响也不可同日而语。早在几年前杨玄感举起反旗时李渊就不无想法，只是因为时机不成熟而没敢轻动，但现在情况大不相同，几乎人人都赤膊上阵了，那他还等什么？还何况李密的瓦岗军围攻东都，牵制了隋军主力，无疑给他提供了极为广阔的闪转腾挪的空间。那时李渊身旁已经有一个可以无话不谈的小圈子，除了血浓于水的几个儿子暗中“潜结英俊”、“密招豪友”广蓄人才之外，时任晋阳令的姻亲刘文静、马邑郡丞李靖，还有文水县的木材商人武士彟以及夏侯端、许世绪等人都不止一次地向他进言帝业之事。姓武的木头商人就是后来大名鼎鼎的武则天的父亲，他甚至还给李渊进上了“兵书符瑞”，一副早投资、早收益的迫不及待模样。因为身边有皇帝安插的耳目，表面上，李渊依然是小心翼翼，但他明白，主庸国乱，哪怕就是为了自保，也不能不有所动作了。

　　既然民心可用，那就先用民心。为了激发民众的反隋情绪以便起兵，李渊首先指使刘文静伪造大业天子的诏令——“发太原、西河、雁门、马邑人年二十已上、五十已下悉为兵，期以岁暮集涿郡，将伐辽东。”李渊果然聪明，一下就点中了当今天子的死穴，矫诏一出，立即“人情大扰，思乱者益众”，这就叫用别人的石头砸别人的脚。当初大业天子在命令李渊留守太原的时候，同时又派郡丞王威、武牙郎将高君雅为其副手负责监视。两人此时尽管心存疑惑，但一时难辨真伪，只能隐忍不发，暗中加紧调查。

　　又是一次天公作美。仗着背后有突厥可汗撑腰，自称定杨天子的原大隋鹰扬府校尉刘武周引突厥兵进逼太原，李渊立即以讨伐刘武周为名，迅速募得私兵万余人。同时派人火速召回滞留在河北的儿子李建成和李元吉，以图举事。

　　刘武周兵犯太原固然给李渊提供了公开募兵的借口，但同时也造成太原城防不稳、无法远征，负有监视和牵制李渊之责的王威、高君雅也发现了李渊矫诏聚兵的真相，暗中谋划利用马上就要进行的晋祠祈雨大会，诱杀李渊。可惜王、高两人做事不密，此事被他人告发，李渊先发制人，立刻杀了二人，牢牢控制了太原。随后不久，李建成、李元吉兄弟也赶回太原，李氏父子开始同僚属商讨行动方略。

　　 　　刘文静献计，突厥可汗之所以对各路反隋武装都大力支持，用意无非是要坐收渔利，既然刘武周等人可以结交突厥，那咱们也可以卑词厚礼结交突厥。

　　 　　李渊于是给始毕可汗写了封措辞谦恭的信，表示：“当今隋国丧乱，苍生困穷，若不救济，终为上天所责。我今大举义兵，欲宁天下，远迎主上，还共突厥和亲，更似开皇之时，岂非好事！”

　　 　　这是答应要重开当年隋文帝开皇和亲故事，与突厥修好，同时还表示要将自己在征伐中所得的子女玉帛，尽献于始毕可汗。

　　得书大喜的始毕可汗当即复信：“隋主为人，我所知也，若迎以来，必害唐公而击我无疑矣。苟唐公自为天子，我当不避盛暑，以兵马助之。”

　　不知始毕可汗是真的看穿了李渊“远迎主上”之说的虚妄，还是被曾经四处巡幸耀武扬威的大业天子吓得不轻，反正他是明白无误地表示了希望李渊取隋主而代之的意思，并且不惜助以兵马。始毕可汗的如意算盘是，如果李渊能够成功，自家所费不多就能让其臣服于己，哪怕那其实就是个割据太原一隅的地方天子，自己不是也从大隋版图上割下一块肥肉来？但李渊比他还老辣，对方想假手于人从中渔利，他其实也是要狐假虎威以虎退狼。

　　记载了这件事的《大唐创业起居注》同时还记载，刘文静、裴寂等群僚都力劝李渊接受此议，但老谋深算的李渊不为所动，只答复说自己准备尊皇帝为太上皇，拥立其时正在隋都的皇孙杨侑为帝。用李渊暗中告诉自己亲信的话就是这样——

　　“胡骑入中国，生民之大蠹也。吾所以欲得之者，恐刘武周引之共为边患……聊欲借之以为声势耳。”

　　内忧外患都解决了之后，李渊建大将军府，以世子李建成为陇西公、左领军大都督，指挥左三统军；二子李世民为敦煌公、右领军大都督，指挥右三统军；四子李元吉为镇北大将军、太原留守，委以军政事务。同时，移檄郡县布告天下，正式举兵，直逼关中。

　　坐困江都的大业天子接到李渊反叛的消息，又急又气，一边严敕东都、西京“严为备御”，一边深悔自己所用非人，防来防去却把最该防的老贼给漏掉了。太原一带既是天下精兵所居之所，又有朝廷武库官仓，大量的粮秣武器以及甲胄转眼之间成了攻击自己的利器，这局面还能挽回吗？能吗？！