四月二十二，枉人山寨万余人口牲畜，挽着近五千辆大车，同时还人背马驮着十日口粮，在骑兵统领方洪的三百骑兵（回枉人山后，又扩招了两百多骑兵，共计五百骑兵，虽然战马还有富余，可惜会骑术的人少）及杨折冲、释智和的一千五百名步兵（步兵已有两千之众）护卫下，如期出发。
由于物资实在太多，五千辆大车根本装不完，而健牛、骡子，挽马又需要用来拉车，无法驮负重物。无奈之下，只好分两批迁徙。第一批，重点是转移人口、粮秣、丝帛、金银珠宝、兵甲、药石（各种草药与矿物质）及盐茶等生活必需品。
只留下一部分的米粮及皮革、大量箭矢、铜铁精料及酒水等物，等待第一批迁徙人员到达目的地后，将车辆腾空，再倒回头来装车启运剩余物资。这些物资由杨奋的两百骑兵及左开的五百步兵据寨而守。这时的枉人山寨，已经没有一个平民，有的只是七百名兵甲精良的骑步兵，还有堆积如山的物资，由一个普通的山寨变成了一个军寨。
从大部队的迁徙到留守主官的人事安排上，可以看出狄烈是花了一些心思的。
迁徙大部队的军事主官是杨折冲，方洪，释智和副之，民事方面则是由侯方镜负责。而留守部队则是杨奋为主，左开为副。
在这当中，杨家兄弟及侯方镜都是在狄烈起家前就一起经历患难的人物，在忠心方面应该说是比较可靠的。其余如方洪、左开，释智和这些人，虽然也表现不差，但毕竟相处日短，当然不可能让他们在军中占主导地位。要知道，狄烈的这份家当，相当于宋朝的一路（相当于省级）全年赋税。这块肉太肥了，诱惑性太大了，狄烈在这方面不得不小心从事。
安排好诸事的狄烈，却没有随迁徙队伍而行，他有更重要的事。在早前一天，也就是四月二十一，狄烈带领着阿术、张荣的梁山兄弟，以及关忠勇等十余名太行义军，先期出发。
按狄烈的官方说法，是先去拜会一下刘大寨主，洽谈合兵事宜。如果顺利的话，等一切安顿好了，大部队也到了。关忠勇等人深以为然，欣然陪同前往。但狄烈心里真实的意思，却是不想让关忠勇等人看到自己的全部家当，以免到时给人家来个狮子大开口，那就被动了。
狄烈一行本打算顺着金军北返的路线，走汤阴、相州、磁州、邯郸，然后自邢州而至赵州，再绕栾城而过，折向西行，经抱犊寨而穿井陉，最后到天平寨。
由于有太行义军这群识途老马带路，加上这条线路刚有大批金军经过，一路上扫荡得极为彻底，基本上百里之内，人烟绝灭，短期内几乎无人敢走。因此在五日之后，狄烈一行很顺利地来到了邯郸。
在早前，准确的说是在七天以前，金军四路北返大军已经全部在邯郸汇合。这个时候，大概金军主帅完颜宗望也意识到了兵分数路的弊端。之前是因为千军万马过黄河，拥堵不堪。为了让大军尽快北返，并且认为路上不会有什么阻挠，所以才兵分六路。
而现在莫明其妙地溃灭了两路大军，损兵折将不算，更丢失了一大批物资及人口。宗望不得不改弦易辙，将剩下的四路大军猬集成团。如此一来，全军人马超过七万，加上近二十万的俘虏，庞大的人群及海量的物资运输，必定造成行军速度的缓慢。
不过，这时的宗望心里想的是安全第一。摆出这样的大阵仗，如果那个如幽灵般的男子还敢来捋虎须。那么，他不介意让对方尝尝七万铁骑合围的滋味。
四月二十三，金军七万人马押解着二十万俘虏及无数战利品，开出邯郸城。大军浩浩荡荡，绵延百里，望北而去。
而当狄烈一行到达邯郸城廓之时，金军已经离开三天了。
狄烈与众人商议了一下，决定暂时停顿休整几日。否则照这样的速度走下去，不消几日就能赶上金军——要知道这时的金军已基本上变成了辎重兵，押着这么多的人口牲畜及几万辆大车，一天能走上个三、四十里就很不错了。
狄烈这个时候，可没有偷营的心思。他现在的想法，与完颜宗望惊人的一致：就是要将各自的战果安全地送到目的地，此外一切都是次要的。
狄烈现在就是等着这次大搬家结束，然后再追上金军，尾随觑机，看看有没有救人的机会。反正金军行军速度为辎重所累，很容易就能追上。只是此时的金军的力量空前强大，不要说虎口夺食了，就算想再混入金营中救一两个人出来，也是千难万难。
但再难也得试一试，那两个人太重要了。一个可以为自己控制住手头的赵宋宗室及大批官吏；而另一个，则掌握着自己军工的核心机密。
就在狄烈一行停驻在邯郸城外一座荒废的寺庙休整时，关忠勇与高亮相携而至，提出派几名弟兄先行一步，回山寨找到大寨主，先跟他通通气，了解一下他的态度及决定，这样更稳妥些。二人一再表示，刘大寨主是个豪爽实诚之人，这事十有八、九能成。
狄烈自然也没有反对的理由，当下同意了。于是，由高亮率五名太行兄弟，带足干粮，以及作为礼物的十锭黄金，先期北上。
如此又过了三日，在得到杨折冲派出的哨探传来消息，迁徙队伍已安全到达磁州。狄烈一行才放心继续北上。
狄烈一行越往北行就越安心。由于金人灭宋过快，本国完全没有做好接收宋国地盘的军事及政治的准备工作；也就是说，地盘打下了，却只有少量本国军队甚至没有本国的军队，而只能依靠战力低微的新附军去驻守。而且金军攻宋，采取的是蛙跳战术，沿途州府，能取则取，不能取就绕过。这样就造成很多州县的官军因惧怕金军攻城屠戮，纷纷弃城，阖城的百姓也逃个精光。
狄烈等一路行来，所见除了少数几个州府大城，如相州、磁州、邯郸、邢州等，有少量金军（其中多为仆从军，女真人没几个）及部分降金的新附军驻守之外，其余大批县镇，如卫县、汤阴、滏阳、临洺、沙河、内丘、临城等，基本上就是空城。
这样的情形下，大大有利于狄烈的万人搬家大行动，至少在安全与保密方面是没有大问题的了。当然，狄烈心下也清楚，这种情况不会持续太久。一俟金军北撤完毕，这些个空置的县镇，就会由无人问津变成抢手的香饽饽。宋军要抢，义军要抢，盗匪要抢，往后那伪齐更要抢。届时这几个州府就会变成一个大战场兼烂泥沼，谁陷进去都难拔脚出来。
那时就算是一支小小的商队经过，估计都要被盘剥得血本无归，搞不好人财两空，被沿途各种势力吞得连骨渣子都不剩。
不过，这起码是一个月以后的事了，那时狄烈的搬迁计划早就完成了，这地方闹得再凶也影响不到他。不得不说，狄烈还真是选择了一个最好的时机。
五月初二，当狄烈一行走到临城东北的柏乡县城时，竟与风尘仆仆往回赶的高亮一行不期而遇。
高亮一见关忠勇，就从马上滚鞍而下，止不住放声大哭，抽抽咽咽地报告了一个恶噩：
大寨主，死了！