峡道伏击战和鹰击军攻下三坝口营寨不太一样，交州军士兵还是逃走了数十人，这些败兵逃回了广信县，将汉军伏击援军的消息告诉了主将关羽。
大帐内，关羽心中十分担忧，他目前只知道从陆路过来的汉军至少有上万人，但这是否只是先锋，后面还有没有汉军主力，这些都无从得知，一旦从陆路南下的汉军有两三万人，以他现在的兵力，恐怕守不住广信县。
关羽分别派出两支军队去陆路和水路拦截汉军，使城中的守军不足五千人，凭这五千人想守住并不算坚固的广信县几乎是不太可能，让关羽更担心的是，一旦广信县失守，不仅苍梧郡保不住，而他的儿子关平也难以撤回了。
反复权衡之后，关羽终于做出了决定，先保住广信县，然后再考虑其他问题，他一方面派人急赴番禹，向大哥刘备汇报广信县的不利，另一方面，他又派人通知关平和所有漓水守军全部撤回广信县。
应该说，这就是黄忠的围魏救赵之计，令王平和刘正从陆路向广信县施压，并且虚兵为一万人，使关羽摸不清底细，他只得被迫撤回漓水上阻碍汉军南下的军队。
而汉军真正的主力却是从水路南下，得知交州军已从离人堡撤离，三天后，数百艘五百石战船满载两万军队和各种物资抵达了离人堡。
离人堡原名叫做漓人渡，位于广信县西北两百里处，原本是漓水两岸民众过河的渡口，它是一块突入江中的巨石，使这一带的漓水河面宽不足十丈，便于渡河，同时它又有很重要的军事价值，只要守住漓人渡，便可扼断漓水上南来北往的船只。
在三年前，交州军便在巨石上修建了一座军堡，叫做漓人堡，久而久之，大家都称它为离人堡，堡内驻兵两百人，用来盘查漓水上汉军派来的斥候，或者逃税的盐商。
尽管离人堡地势险要，可以居高临下打击江中的船只，但要让它抵御汉军主力的进攻，也几乎是不可能，所以关羽在撤回关平的军队后，也知道离人堡的守军没有意义，索性将堡中的两百人也一并撤回，只在堡中留下十名士兵，用来点燃烽火。
早在八百艘汉军战船距离离人堡还有数十里时，北方的烽燧便已点燃，警示大队汉军来袭，离人堡随即也点燃了烽火，十名士兵弃堡而逃，不仅是离人堡，漓水沿线的十座烽燧也纷纷点燃，将汉军主力杀来的消息传到了广信县。
但汉军并没有杀向广信县，而是在离人堡停止了前进，两万汉军士兵在大将蒋钦的率领下，开始在离人堡旁边修筑军城，树木被砍伐，大块岩石被采来，仅仅数天时间，一座周长十里的军城便被打下了根基。
当然，汉军绝不会只修建这一座军城，在距离广信县约百里处，有工匠和士兵在寻找另一座军城的建造地址，很明显，汉军在重施祁山道旧计，沿漓水修建军城，使汉军能牢牢控制住漓水，为汉军夺取苍梧郡打下坚实的基础。
汉军在漓水开始大规模修建军城，引起了刘备的恐慌，如果苍梧郡失守，汉军就会很快杀到番禹城。
越王宫内，刘备独自一人坐在房间里，思虑着汉军即将对交州的进攻。
他在长安同样也有情报机构，虽然消息来得比较晚，往往在事情发生一两个月后，他才能得到消息，但一些情报还是令他浮想联翩。
刘备最关注刘璟入住未央宫的消息，这是发生在去年秋天的事情，距今已有数月，但刘备依然很看重这条消息，他可以从中体会到刘璟的一些细微心理变化，这说明刘璟登基为帝的欲望愈加强烈了。
同时也说明刘璟已等不下去，所以他在刚开春便对交州发动攻势，正好映衬了刘璟的这种迫切心理。
汉军的南下方案很明显，修建军城，储存粮食和军资，在苍梧郡境内建立后勤重地，这种手段和汉军夺取陇西如出一撤，刘备也不得不承认，这是一个稳健而有效的办法，对汉军攻打交州影响深远。
他绝不能让汉军这样从容不迫的修筑军城，最终一步步蚕食苍梧郡，但苍梧郡的军队明显不足，关羽手中只有八千人，而汉军很可能会增至三万人，这就意味着他必须向苍梧郡增兵。
问题是怎么增兵？他手中一共只有三万军队，张飞在庐陵郡的一万人要防御豫章郡的汉军，不能轻举妄动，而只有调用番禹城的一万守军，可一万守军调走，番禹城就成了空城，两难权衡，着实令刘备难以决策。
这时，一名侍卫在门口禀报：“启禀主公，军师来了。”
“快快请他进来！”
刘备心中大喜过望，诸葛亮终于回来了，而且回来得非常及时，片刻，诸葛亮走进了刘备书房，跪下行拜礼，“臣诸葛亮参见主公！”
诸葛亮是奉刘备之令前往交趾，安抚蛮族和占族，给予他们更大的利益，以阻止他们和汉军结盟，可现在看来，之前司马懿和占族、蛮族的会谈确实是虚晃一枪，目的是为了破坏交州和曹魏结盟，这让刘备有些惭愧，诸葛亮看穿了这一点，他却中了刘璟之计，冷待钟繇，最终使曹魏和交州的结盟无疾而终。
刘备摆摆手，“军师请坐！”
诸葛亮坐直了腰道：“微臣和占族、蛮族的酋长都进行了会谈，他们已明确表态，将在汉军和交州军之间持中立态度。”
刘备苦笑说：“他们是什么态度其实已经不重要了，军师可听说汉军已南下的消息？”
“臣有所耳闻，所以才急切赶回番禹，不知现在情况如何？”
“汉军兵分两路，一路走陆地，约一万汉军，已进入苍梧郡，目前驻兵在广信县以北三十里处的龙口镇，另一路走水路，据云长送来的情报，有近千艘战船，两至三万汉军，目前正在离人堡和米水河口修建军城，汉军并没有急于进攻广信县。”
诸葛亮沉思片刻又问道：“张将军那边有什么消息？”
“翼德那边稍好一点，但也有压力，翼德来信说，汉军斥候在庐陵郡和我们巡哨队发生了几次激战，双方互有伤亡。”
“那关将军呢？”诸葛亮又问道：“他有什么要求？”
刘备叹息一声道：“他还能有什么要求，就是希望我们立即增兵，他想出兵破坏汉军筑城，军队派少了没有用，可军队派多了，广信县又空虚，要被陆路的汉军趁机攻击，他很两难。”
“主公准备派兵吗？”诸葛亮依然很冷静地问道。
刘备摇了摇头，“我就是不知道该怎么办？如果派兵去增援苍梧郡，番禹城又空虚了，所以我想和军师商量，能不能派民团救援苍梧郡。”
民团是诸葛亮在交州实施的一种应急措施，主要因为当年北征惨败，交州军队几乎丧失殆尽，而民众恐慌，人人都不愿从军，在万般无奈之下，诸葛亮推行了屯堡民团制，将原本居住分散的民众集中起来居住，然后在民众中建立民团，农忙时耕种，农闲时操练，并许与减税赋的优惠，这样民众没有从军的恐惧，还能享受税赋优惠，屯堡民团制便建立起来了。
但实施屯堡民团制的根本目的还是为了获得兵源，诸葛亮又让民团参与了离乡训练，不断将一些训练合格的民团团丁转变为军队，这样便使交州的军队一点点恢复，最终恢复到了北伐前的三万人。
这其实是一种谋略，温和地恢复军队，民众的体会不深，反抗也不激烈，至于剩下的十几万民团，诸葛亮并没有考虑让他们转为正式士兵，只是作为兵源不足时的临时补充。
现在刘备提到了用民团去支援苍梧郡，诸葛亮不由苦笑一声说：“主公有没有考虑过这些民团的实际战斗力，我可以告诉主公，他们的战斗力很低，最多只能在守城时作为正式军队的辅助，若让他们上阵打仗，他们反而会拖累军队，会率先溃败，严重影响到军队士气和稳定，另外我们已经没有兵甲装备了。”
诸葛亮终于吞吞吐吐说出了另一个致命的问题，他们没有兵甲装备了，当初北征时，交州军几乎所有的兵甲都丢在了荆州和豫章郡，府库中的兵甲只能装备几千人。
为此，交州通过和江东贸易，获得大量生铁，用于打造盔甲兵器，勉强重新武装了三万军队，而刘璟在攻灭江东后，严禁生铁流入交州，使得交州无法再打造兵甲，直接断了交州的兵源装备。
这是极为毒辣的一招，刘备为此焦虑万分，一再希望汉国放松生铁贸易，可汉国非但没有放松，反而更加严厉，刘璟下达命令，擅自走私生铁至交州，满门处斩。
刘备也知道问题严重，没有兵甲，有民团也没有用，总不能让民团士兵穿着布衣，拿着训练用的木刀木矛去打战吧！刘备低低叹息一声问道：“府库中，不会一点兵甲都没有吧？”
“倒也不是一件没有，微臣去交趾前盘查过，还有一千四百余件，就算建立把兵甲分开，建立刀盾军和长矛军，最终也只能装备三千人，其中一半人还没有盔甲。”
刘备负手来回踱步，他沉思良久，又回头对诸葛亮道：“那就先将三千民团转为正式军队，再从番禹守军中抽调五千人，这样就有八千军队，用以支援苍梧郡，番禹城内的五千军队不够，那就调三万民团来协助守城，军师说怎么样？”
刘备对自己的这个折中之策颇为满意，可以说已充分利用了民团的力量，不料诸葛亮却缓缓摇头，“我劝主公不要增援苍梧郡，最好再撤回庐陵郡的军队，全力守卫番禹城。”