李世绩虽处窦建德之营，为窦建德镇守黎阳，但心中却无时无刻想要重新归唐，不过又怕牵连了在窦建德身边为人质的老父李盖，所以便和原宋州刺史、阳翟郡公郭孝恪商量。
郭孝恪道：“你我才归降窦建德不久，此时无论做什么事，都会受到猜忌，所以现在应当先立功，取得窦建德的信任，然后就可以谋划归唐之事了。”
李世绩听从了郭孝恪的劝告，不久后便带兵出黎阳，袭击了王世充的获嘉县，攻陷了城池，俘虏了许多人并缴获很多东西，都通通献给了窦建德，窦建德因此对李世绩很好。
李世绩又派人劝窦建德道：“曹、戴二州，户口充实，孟海公占据二州，与东都的郑国貌合神离，如果发大军进取二州，指日可待。得孟海公后，再率兵逼近徐州、兖州，黄河以南可不战而定。”
窦建德认为这意见很对，便准备亲自领兵攻取河南，先派他的行台曹旦等人率五万兵马渡过黄河，李世绩带三千兵马与曹旦等人会合。
李世绩的计划，是待窦建德到河南之时，便偷袭他的营地，杀死窦建德，找回父亲并且以窦建德的地盘回归唐朝，不过恰巧这时窦建德的妻子生产，所以李世绩久等不到窦建德。
窦建德派到河南来行台曹旦，是窦建德妻子的哥哥，在河南大肆掠夺骚扰，归附的各路盗贼都愤愤不平。
盗贼首领魏郡人李文相，号李商胡，聚集五千多人，占据着孟津中城归降窦建德，但因曹旦的大肆侵扰，心中很是不岔，所以想要叛离窦建德。李商胡的母亲霍氏，也善于骑马射箭，自称霍总管。
郭孝恪探知了李商胡的情况后，便建议李世绩和李商胡结拜为兄弟，以结盟共谋大事，李世绩略一沉吟，便点头同意了，即去孟津中城找李胡商结拜。
李世绩之名，现在早已是传遍了大河南北，不知晓他的人实在不多，所以李胡商得知李世绩要与自己结拜后，顿时大喜过望，颇感荣幸，当即便叫人摆上香案，与李世绩结拜了。
随后李世绩与李胡商一同入内室，拜见李商胡的母亲霍氏，三人交谈一会后，霍氏流着泪对李世绩道：“窦氏现在丧失了道德信义，残害孟津，我们怎么能继续侍奉他？”
李世绩道：“母亲不要担心，不超过一个月，我们就可以杀了窦建德，一起归顺大唐了！”
霍氏对李世绩的回答似乎不太满意，“还要一个月？这是不是久了点，只怕到了那时，孟津都要成了一片焦土了。”
李世绩道：“孟海公还答应与我们共同杀了窦建德这贼，不过他动员、布置兵力，再到发动袭击仍需一个月左右，时间虽久了一些，但到时我们三方一起行动的话，成功的机会就要大了许多。”
霍氏不置可否，等到李世绩告辞走后，霍氏却对李商胡说：“时间长了就会发生变化，何必要等到那孟海公来，不如速战速决，先解决曹旦，吞并他的兵力，再北上对付窦建德。”
李商胡向来唯命霍氏之命是从，虽觉得李世绩的计划更为妥当，但还是答应了霍氏的提议。
当晚，李商胡以举办晚宴的名义，召来曹旦手下的二十三位偏将，用酒把他们灌醉，然后全部杀死，随后聚兵向曹旦大营发起进攻。
曹旦的别将高雅贤、阮君明等还在黄河北岸没有过河，李商胡用四艘大船运高雅贤、阮君明等的三百士兵过河，船到河中心，将三百人全部杀光，想以此计策将高雅贤、阮君明等人的部众全部杀光，不过在这时，有一位在军中治马的兽医却极善水上功夫，所以得以潜水逃脱了。
兽医一直游到了南岸，将事情报告了曹旦，曹旦因此严加警戒，以为防备。
李商胡杀曹旦二十三位偏将起事后，才慢悠悠的派人去通知了李世绩，李世绩大为懊悔的叹道：“竖子不足与谋！”
李世绩的营地与曹旦相接，郭孝恪劝李世绩袭击曹旦，李世绩听说曹旦已有防备，所以犹豫不决，亲自前去曹旦营寨外窥察半响，发现曹旦的营寨果然已是防备森严，毫无可乘之机。
郭孝恪向李世绩道：“李商胡必不能成事，事败之后，只怕要供出我们来，到时我们就死无葬身之地了，不如现在便趁乱投唐为上！”
李世绩决然的摇了摇头，“我父还在窦建德手上……”
郭孝恪道：“将军放心，窦建德向来标榜自己为仁义之君，定不会做出杀害无辜这种事，以自毁形象的。”
李世绩听后，这才变得动摇了。
郭孝恪急忙道：“当断不断，反受其乱，若是不早做决定，将来你我人头落地之时，你父舒国公知道了今天之事的话，只怕也会大骂你迂腐了！”
李世绩这才咬了咬牙，狠下心来答应了，和郭孝恪率数十骑兵离开营寨，西行至黄河渡口，坐船逆水而上，投奔大唐去了。
李商胡见消息败露后，便挑选了二千精兵，向北袭击阮君明、高雅贤所部，并将他们打败，不过高雅贤边败走时，还不断的收拾部众，渐渐再聚集了不少人，李商胡继续追击后，却没有追赶上，从而只得回军孟津，曹旦的大军却也不敢去攻打了。
李世绩和郭孝恪逃往大唐的消息传到窦建德现在的王都洺州永年县的时候，窦建德的诸位大臣都齐至皇宫万春宫，请求窦建德杀掉李世绩的父亲李盖。
窦建德沉思了许久，摇头道：“世绩是唐臣，被我俘虏，仍不忘唐朝，这是忠臣，他父亲有什么罪？”于是窦建德下令赦免了李盖。
之后，窦建德亲自率兵数万攻打叛臣李商胡，李商胡兵力仅数千人，根本抵抗不了多久，便城破人灭了，李商胡死前，十分后悔没听李世绩的建议。
窦建德重回洺州后，考查、鼓励耕织，所辖地区没有盗贼，商贾行人露宿，国力、军力都慢慢变得愈发的雄厚了。