将大部分的缴获和一帮投靠乡绅的捐献都打包，派快船经益阳运回长沙，再由派至长沙任知府的郭崑焘组织人马，将值钱的白银等运至广州。
陈玉成和梁立泰两人毫不停留，待甲三师和甲四师二万将士稍事休整，便即开拔出征，直接进入荆州府的公安县境。
至于旁边的安福、石门、慈利等县，早有甲七师的一部分头前去占领。
十二月下旬，虽天气严寒，却冷却不了甲三师和甲四师将士热血激动的进取之心。
正当陈玉成和梁立泰准备率军直取江陵的荆州城时，一封密报传来：
太平军西征军临时换将，北王韦昌辉被调回天京，而接任主持西征事务的天官又正丞相曾水源率兵尚未到达安庆。
清妖见西征太平军主将更换，缺乏统一指挥，有机可趁，便主动向已经攻占并驻守的黄州的国宗石祥祯发起进攻。
驻守黄州的仅仅是国宗石祥祯所率领五千不到的太平军将士，湖广总督吴文镕亲自率领七千清军进驻黄州北部的堵城，又命新任的糊北水师提督唐树义率领水师把守长江上游，准备攻占黄州。
石祥祯闻报，连忙向占领并驻守九江的曾天养、唐正才及国宗韦俊等求援。
曾天养留二千兵士驻守九江，亲自率兵一万，与韦俊领兵五千，一道沿着长江两岸边，朝黄州进发前去支援。而唐正才，则率领上万水师，沿长江逆流而上直指武昌。
这时，天降大雪，驻扎在堵城的清军受风雪影响，无法行军，士气低迷。而距离黄州很近，已经抵达的韦俊率五千太平军偷偷绕至清军大营之后，隐蔽埋伏，清军毫无察觉。
次日，黄州城内的四千余太平军在国宗石祥祯的带领下，全部出击，主动从正面猛攻清军。同时，韦俊率埋伏的五千太平军也一齐发起攻击，纵火从后面焚烧清军营寨。
清军主力前后受敌，纷纷溃逃，湖广总督吴文镕、总兵德亮二人被杀，黄州知府蔡润深被俘虏。糊北水师提督唐树义见陆师被灭，急忙率领水师往长江上游逃去。
太平军取得黄州大捷后，乘势沿长江发动进攻，十二月底便抵达汉口、汉阳，并很快攻占两地，兵围攻武昌。同时，还积极分别，准备向鄂北进军。
而这时，远在京师的咸丰大惊，湖广总督吴文熔的战死，让他意识到，满清真的气数到了。但不管怎么样，祖宗留下的江山，无论如何不可能就此舍弃。他连忙命荆州将军台涌暂接任湖广总督，就以荆州为湖广总督的治所之地，又命青麟为糊北巡抚，率领一千五百守卫武昌。同时，从四川调兵四千东下援鄂，并一再催促陕西提督调兵二千紧急援助糊北。
收到这些消息的陈玉成和梁立泰，立刻意识到，这荆州成了硬骨头。
原本早就派探子探知到，荆州将军府下辖满蒙清军官兵近7000人，其中马兵有四千，一千五鸟枪手，一千五弓箭手，还有一千预备马兵；还有步甲的长矛手牌刀手等近二千人，加上步兵养育兵和炮手等八九百人。不但如此，还有也有一战之力的满蒙家眷二万余众。
不过，荆州早有近二千马兵和千余步甲在上次的攻打武昌城中，被太平军击溃，一直没有得到补充。
这样一来，荆州城中实际只有驻防的二千马兵，二千步甲，皆为旗蒙满兵。城外还有二三千的绿营城汛兵，不过，战力低下。
陈玉成率一万一千甲三师直接围住荆州城，除了水寨这边的城墙，其余的东西北三面全部围困起来。
荆州城西，驻扎着一百多年的满城。满城内的四千满蒙旗兵，都是一片惊慌，但严格的军纪，并且身后便是二万旗兵家眷，想到广州、江宁城内的满城里，全城的旗兵和旗兵家眷尽皆被屠杀一空，四千满蒙旗兵便是咬紧牙关，誓死护卫亲人和自己的满城。
新任湖广总督的台涌，此刻还兼任着荆州将军，地方和军权一起抓，本是得意之事，但如今，他丝毫感觉不到欢喜，有的只是担心和恐惧。
荆州旗兵虽然经历过三藩吴三桂和白莲教等作战，但此时已经腐朽不堪，没什么战力。身为荆州将军的台涌自然明白。也因此，他才会嘴巴发苦。
手下兵将无能，却只是朝他伸手要兵饷。但荆州将军府，却无财税来源，只是靠朝廷拨付军姿。但自从长毛贼起兵造反后，荆州将军府便越来越差，军费开支越来越少，到如今，已经快到了难以为继的地步。
很快，将荆州城围住的陈玉成，命人射入劝降信，向城内的清军招降。
台涌大怒，满洲正白旗的高贵出身，让他根本无法去想投降之事。他立即下令，全城从家属中招民壮五千，协助守城。
又过了二日，陈玉成等梁立泰的甲四师抵达宜昌后，见荆州城内清军没有反应，立即命甲三师向荆州城发起进攻。
甲三师装备了充足的洋枪，冒着荆州城头上的清军炮火，朝城上放枪。城头的八旗兵和蒙旗兵，刚开始被洋枪一阵齐射，死伤上百，当即不敢再冒头。
甲三师将士加上爬梯，冒着炮火往城头冲锋，清兵战力虽然不行，武器也是落后，但悍不畏死，在荆州将军台涌和副都统贵升的指挥下，奋起砍杀，将荆州城墙守得密不透风。
甲三师连攻两次，都无功而返，只得以十几门火炮轰击城门，却无甚效果。
甲三师这么攻不下荆州，但甲四师却势如破竹。
清军在鄂西一带的兵力薄弱，且都是些糜烂不堪的绿营兵，一见讨虏军，便畏之入虎，逃窜不已！
从十二月的最后一天开始，至次年一月，梁立泰率甲四师，一路沿长江而上，依次攻克松滋、枝江、宜都、长阳、宜昌府城、归州、巴东和巫山，兵势进入四汌之地。
而率领内河水师的彭玉麟，也在侦查万洞庭湖、安排好洞庭湖防守哨所和水寨后，也出现在长江水面，占据了洞庭湖与长江交汇的城陵矶处，控制长江水道。
整个糊北的长江水路，除了武昌至黄州段，其余几乎全部被讨虏军占领，满清整个朝廷和太平天国为之震动。