杨广又听说许多达官的子弟都在杨玄感那里，越加忧虑震怒。
兵部侍郎斛斯政平时和杨玄感交情很好，杨玄感谋反，斛斯政曾与他一起谋划，杨玄纵兄弟逃回内地是斛斯政暗地送他们回去的。
杨广要追究查办杨玄感的党羽，斛斯政内心极为恐惧不安，在六月二十六日这天，逃跑投奔了高丽。
因为杨玄感反叛之事，这高丽是不能再打了，就算杨广不顾都城洛阳等地的安慰，他也没多少粮食继续打下去了，杨玄感虽然离开了黎阳，但他还派了个亲信元务本继续镇守在那，使得杨广大军依旧不能得到新的补给。
二十八日，夜里二更时分，杨广秘密召集诸将，让他们率军撤退。所有的军资器械、攻城之具堆积如山，营垒、帐幕，都原地不动，遗弃而去。
隋军人人惊惶恐惧，军队部署已乱，各路兵马分离涣散。
高丽方面对这种情况很快就觉察到了，但是不敢出去，只是在城内击鼓呐喊。
到第二天中午时，高丽方面才渐渐地派兵出城，四处远近地侦察，但仍然怀疑隋军撤退是假的，眼看着隋军就要攻破辽东城了，怎会突然撤退？
高丽人怎么想也没想明白，只能归之于是隋朝人的鬼把戏。
又过了两天，高丽人才终于觉察到不太对劲，于是出动几千名士兵在隋军后面追踪，但仍然畏惧隋军人多，不敢逼近，两军常常相隔八、九十里。
快到辽水时，高丽人得知杨广的车驾已经渡过了辽水，才敢逼近隋军后部，当时隋军后部还有几万人，高丽军队就包抄袭击隋军，最后有上万名隋军老弱士兵被杀死。
再说那支以宇文述、杨师道为主将，以王仁恭为前军的大军，他们一如第一次征高丽事那样，直驱平壤。
作为前军的王仁恭到达新城的时候，高丽兵数万人背城结阵据战，王仁恭亲率两千劲骑，直突高丽军的中军，威猛无比，势不可挡，直接斩杀了高丽军的主将，大破这数万人的高丽军。
逃回新城的高丽残余部队继续固守新城，王仁恭四围攻之，再给他几日的时间，定能将这座鸭绿水边上的重要城池攻下。
此时的王仁恭豪情万丈，心中想到，只要攻下了新城，再攻高丽都城平壤也就指日可待了，到时他必能凭着战功，荣升卫府大将军，不用再看宇文述等人的脸色行事了。
但是就在这时，王仁恭接到了让他撤退的诏令，他火热的心头瞬间被浇了一盆刺骨的冷水……
各军于是将器械物资全部丢弃，疾奔而还，虽没有敌军追击，但许多士兵不愿归队，导致失散颇多，渡过了辽水的时候，这支大军已是十不存一。
杨广一面率军返回，一面派遣虎贲郎将陈棱先行去黎阳进攻元务本，以打通粮道，又派遣左翊卫大将军宇文述、右候卫将军屈突通乘驿站的传车，发兵讨伐杨玄感。
来护儿这时率军在沙卑城，闻知杨玄感围困东都，而他的儿子来渊还投靠了杨玄感时，气得大喊了几声“逆子！”他并不觉得杨玄感能夺得天下，退一万步来说，就算是杨玄感夺得了天下，但能给予他来护儿的东西比得上杨广？
于是来护儿立即召集诸将，商议回师救援东都。
一向与来护儿意见不同的周法尚，此次难得的大力支持来护儿的决定。
不过其余诸将都认为没有皇帝的敕命，不宜擅自回师，所以坚决不服从来护儿的命令。
来护儿厉声说道：“洛阳被包围，是心腹之患，高丽抗拒王命不过是疥癣之疾。国家的事知道了就不能不去做。我来承担专擅权力的罪名，有阻拦商议回师之事的人，军法处置！”
众将只得答应，来护儿即日回师。
途中，来护儿怕杨广猜疑他，便命令儿子来弘、来整两人驰马传报上奏杨广。
杨广这时刚回到蓟城，刚要下令让来护儿救援东都，他见到来弘、来整后，非常高兴，赏赐给来护儿的玺书中道：“公回师之时，即朕赦公之日，君臣相意，远同契合。”
对于臣子，杨广这位君主是比较奇特的，只要认定了的，就不会改变，比如他认定来护儿、张须陀、虞世基等人是大忠臣，就信任有加，无论几时都不会怀疑。
又比如，他认定李渊就是个沉迷酒色、做不成大事，但能力还是有一些的人，而且毕竟是自家表哥，关键时刻还是可以用一下的，于是他便紧急诏令李渊为弘化郡留守，以抵御杨玄感入关，并让关右诸郡都受李渊节度。
李渊瞬间由一个小小怀远镇督粮使，摇身一变，成了隋朝当前最大的一个封疆大吏。
不过对于印象差的臣子，杨广可是会一直记得的，比如这时，他就忽然想起来护儿的军中，有一个叫李子雄的，这人原本是右武候大将军，但竟在家中私藏了许多兵器，被人告为意图谋反。
杨广那时便动了杀人的心思，还是经过许多人的苦劝，加上李子雄说收藏兵器只是他的爱好，这才免了他的死罪，但将他官职、爵位全部除去了，让他去水军做了个小军官。
杨广怕这李子雄会与杨玄感勾结，便派了个使者，前去将李子雄上枷锁送到他的行营来。
李子雄一直就没有造反之意，这时接了旨后，知道如果去了杨广营帐，必死无疑，于是发起狠来，悍然出手，杀死了使者，并连夜逃走，去投奔杨玄感了。
杨玄感因久攻洛阳不下，又知道隋朝援军将至，便分兵把守要道，以五千兵把守慈道，五千人把守伊阙道，又派韩擒虎之子韩世谔率六千人包围荥阳。派顾觉率五千人攻取虎牢关，虎牢关的隋军投降，杨玄感任命顾觉为郑州刺史，镇守虎牢关。
李子雄在昼夜不歇的赶路下，终于来到了杨玄感的军营，杨玄感大为高兴，当即命李子雄做了他的谋主，至于之前的谋主李密，则由于时常劝谏，让杨玄感很不喜，自从投奔他的人越来越多，杨玄感已许久没向李密问过计策了。