数日过后，始毕可汗果不食言，派遣柱国康鞘利一班人押送一千多匹马到李渊这儿交易，同时许诺发兵助李渊攻打长安。至于李渊想要多少兵马，由他自己定夺。李渊不惜重金从康鞘利手中买下一大批良马，以充实军队。
然而在到底需要多少突厥士兵这个问题上，李渊迟迟拿不定主意。一方面，李渊想让始毕可汗多出兵，这样自己的胜算就更大。可另一方面，他又担心入关的突厥兵马过多会祸害老百姓，给自己造成大麻烦。因此左思右想了番，他还是坚持原来的主张，只要五六百突厥铁骑。对李渊的这个决定，裴寂等人表示暂且可行，并不反对。然而李世民却持反对意见，他以为父亲对突厥过于忌惮。虽说突厥将士生性贪得无厌，好掠夺女子财货，但只要加以严管，同样也能很好地约束他们，并不会对百姓造成多大的伤害。当然更重要的是，由于隋军以及其他割据势力比较强大，如果自己没有足够兵力，恐怕难以取胜。所以，李世民认为五六百胡骑实在是太少了点，至少也得二三千才行。
李世民此番深思熟虑的议论确有道理，让在座诸位将佐点头称是，他们完全同意身边这位小将军的建议。可李渊仍然固执己见，对儿子的良言不予采纳。不过后来在刘文静、唐俭、窦琮等人的一番苦劝之下，他内心发生了变化。这时，裴寂见李渊有回心转意的迹象，就站出来力谏。李渊听了裴寂言辞凿凿、恳切之至的话语，最终彻底改变了自己的想法，点头同意了李世民的提议。随即，他便派刘文静给突厥柱国康鞘利作回复，同时又赠送了他一份非常贵重的礼品，好让他替自己在始毕可汗面前多美言几句，以便让始毕可汗更好地履行自己的诺言。
当然，李渊也是个言出必行之人。他立马就着手落实始毕可汗提出的要求，高举反隋的义旗。他听从了裴寂、刘文静、李世民等人的建议，尊远在江都游乐的隋炀帝为太上皇，立长安代王杨侑为皇帝，以安定隋室，同时传布檄文到各郡县，命令他们无条件服从自己的号令。
与此同时，刘文静等人要求李渊易改旗帜，以此向突厥示意起义军与隋室有别。刘文静向李渊建议改用白色的旗帜，好与突厥保持一致。李渊内心深处对突厥相当反感，不希望什么都跟突厥一样，自然就对刘文静的提议产生抵触情绪。可是随后在刘文静等人的强烈要求下，李渊不得已只好采取折中的方法，使用绛白杂色旗，以保留自己的独立地位。刘文静对李渊的做法虽说不大满意，但见众人都同意了，他也就不好再反对，最后一个向李渊表示赞成。李渊没说什么，只对着刘文静冷冷一笑，心里怨刘文静跟突厥走得太近了。
此时，李建成、李元吉兄弟俩也带着一班人马历尽千辛万苦终于从河东抵达了晋阳。儿子们的到来，令李渊以为起义时机完全成熟，因此他便向所有将士作了番慷慨激越、振奋人心的精彩演讲。过后，裴寂等人给李渊上尊号为大将军，建大将军府，置三军。以李建成为陇西公、左领军大都督，统率左路军；以李世民为敦煌公、右领军大都督，统率右路军；以李元吉为姑臧公，统率中军。同时任命裴寂为长史，刘文静为司马，唐俭、温大雅为记室，殷开山为大将军掾，刘政会、长孙顺德、王长谐、刘弘基、窦琮、段志玄为左右将军，柴绍为右领军府长史，其余幕僚随才任用。