国军的撤退行动组织较好的情况很少见，这次尤为糟糕。虽然也安排了阻击掩护的部队，但是根本抵挡不住日军机械化部队的猛烈攻击。撤退很快演变成了溃退。
原本凭险据守的河防部队此时变成了背水结寨，两面受敌，指挥机关又常常联系不上，群龙无首又敌情不明。接到蒋鼎文语焉不详的突围令后，不可能不陷入混乱。
4月30日，巩东防线仍在激战中。
战局发生了重大变化。敌华北方面军各部经过调整、补充，开始了豫中战役的第二阶段攻势。敌人攻击的锋芒首先指向的是汉末时的临时都城许昌。许昌和洛阳是豫省防御工事修建最多的两个城市。鉴于巩东防御战的情形，汤恩伯此时仍然将主力部署在嵩山一带，只派一个新29师防守许昌，希望新29师能够凭借坚固的永备工事坚守一段时间，这样嵩山一带的主力则可乘机向敌人侧击。但是天知道许昌修筑工事的账目上的钢筋水泥到底有多少实际用在了工事上。许多所谓永备工事有没有当地农民家的鸡窝、猪圈结实都是个问号。
冈村宁次也怕再出现巩东战场的局面，为了攻击只有3000多人的新29师防守的许昌，日军集中了37师团、27师团、装甲第3师团和独立第7旅团的主力部队，并且把全部可以使用得空军都投入攻击作战，日军兵力和火力都占据了绝对的优势。
30日上午，敌人空军、炮兵、装甲兵、步兵开始对许昌发动立体协同攻击。强弱悬殊。
下午敌军突入城内，新29军官兵与敌人展开了激烈的巷战，至30日晚，许昌陷落，新29师师长吕公良与全师大部官兵殉国。
坚固设防而且守军坚决抵抗的许昌陷落的如此之快，让汤恩伯极为震惊。敌人装甲集团的强大突击力让汤军各部胆寒。此时汤恩伯认为自己的以步兵为主的部队在平汉铁路沿线的平原地区与敌人的装甲集团为首的机械化部队作战将面临灭顶之灾，于是他一边向最高统帅部报告，一边下令让所属各部队向临汝以西的豫西山区全面撤退。也就是要撤到今天的焦枝铁路以西的地区。
冈村宁次立即抓住了这个战机，命令在豫中的日军主力倾全力全线追击。
国军的撤退行动组织较好的情况很少见，这次尤为糟糕。虽然也安排了阻击掩护的部队，但是根本抵挡不住日军机械化部队的猛烈攻击。撤退很快演变成了溃退。
随后几天，登封、临颍、郾城、漯河、襄城、舞阳乃至汤恩伯经营多年的叶县相继陷落。至5月3日，临汝失陷，随后宝丰、鲁山也沦于敌手。敌人已经前进到今天的焦枝铁路一线。5日，敌军进占伊川，所谓的“龙门支队”向洛阳南郊逼近。7日，由信阳北犯的敌军连克确山、遂平，8日，日军南北会攻西平，敌27师团与北上的敌独立11旅团会师，日军首次打通平汉铁路。落合甚九郎对冈村宁次佩服得五体投地。
此时，一战区洛阳以东的部队唯一没有溃退的只有巩东守军。5月3日，临汝失陷后，第四集团军侧后出现日军，防御态势恶化。为防万一，第四集团军命令38军的工兵部队在偃师以南的伊洛河上架设浮桥准备退路。
至5月5日，敌军已经出现在洛阳南郊龙门一带，形势危急。是日，蒋介石亲自给第四集团军来电称：“孙总司令，兄部阵地为此次中原战场之轴心，关系全盘作战之胜败与国家之存亡，务希督饬全体忠勇将士，抱定与阵地共存亡之决心，发挥我国民革命军之战斗精神，奋勇歼敌，达成使命，庶不愧为总理之信徒与本党之战士。此次作战，兄部能屹立不动，指挥若定，至为慰念，希激励所部，始终确保阵地，达成任务，是所厚望。中正手啓。”(辰歌酉)第四集团军受此鼓励，遂继续坚守防线，此时巩东防线已经变成向东、南两面防御的态势。
汤恩伯集团的部队已经进入豫西山区，有一些退到了豫西南5战区的防区，还有一些甚至跑到了陕南8战区的区域。由于日军追击速度太快，汤军很多部队在退却中被打乱了建制，许多部队以营、团单位各自择路而逃，有时候还未到达规定的集合地点，该地已经被日军占领。混乱在加剧。一些连排位单位的散兵游勇像无头苍蝇一样到处乱撞，一些没有给养供应的部队沿途洗劫各村镇的中国百姓，强奸、杀人的案件也屡有发生。一些有组织的村镇，比如成立有民团自卫队、护寨队以及有中共地下党组织的地方开始组织百姓将溃兵缴械，特别是尚武之风较强的嵩山周边地区，一些民众武装甚至把整连甚至整营的汤军缴械。
登封县一个镇的红枪会会长在把国军一个连缴械后，指着那个连长的鼻子骂道：“他妈的，你们这帮子王八羔子，老子们这里的百姓卖儿卖女来出钱、出粮养着你们，平日里受你们的窝囊气也都认了，指望你们能打败鬼子光复山河，可鬼子来了，你们他妈的就会像兔子一样逃命，你们跑了，想让老子们当亡国奴？没门！这些家伙拿在你们手里真他妈的浪费，老子要让你们看看拿到老子们手里是咋用的。你们这群王八蛋一个也别想跑，全都编到老子的队伍里，一人发一根木棍跟着干，谁他妈不愿意，老子现在就活埋了他个王八羔子！”
地方自卫武装、共产党的民兵组织甚至当地的土匪队伍都有壮大。许多村镇开展武装自卫，小股日军不敢离开交通线到乡村四处骚扰。正在执行作战任务的日军大部队也无暇离开公路线去攻击“扫荡”这些个形形色色的武装组织。豫中战役，日军达到了打通平汉铁路的目标，但是要想巩固新占地区，以战养战却是不可能的。