到了八月末，康承训攻克并焚烧了宿州外寨，张玄稔与张儒等入保罗城，官军发动数次进攻，死者数千人，都未能攻克。康承训心想难以力克，不如遣辩士招降。于是令辩士在城下宣读皇帝之圣旨“去岁灾兴分野，毒起徐方，蕞尔庸夫，称兵犯命，招谕不复，猖狂罔悛，胁从三州之人，污染万姓之俗。王者以仁恕为本，拯济是谋，今只除元恶，胁从宜从宽宥。除宠勋亲属及桂州回戈逆党，为贼胁从及因战阵拒敌官军，招谕不悛，惧法逃走，皆非本恶，若弃贼自新，一切不问……”这张玄稔本是徐州旧将，曾戍边有功。虽胁从于庞勋，却心怀忠义，见如今庞勋所为愈加不道，与官军交战又屡屡失败。心想孤城能守得一时，终有被克之日。他听到了康承训所派辩士在城下的招降词后，决心反戈。为了不使张儒等人怀疑，他故意一箭射中辩士发髻，辩士赶忙跑回军中。张玄稔假作发怒，大喝道“你们唐军真的是太弱了。屡攻不下又想出这招降的伎俩！哼，我们庞大将军迟早会攻克唐都，想要我们投降，做梦去吧！”后来有一卒发现张玄稔所射之箭内部中空，将其折断，见有一封短信，赶忙上呈给了康承训。康承训阅后大喜，原来此信为张玄稔所写，“罪臣张玄稔拜见康大元帅麾下：近因徐州为贼所陷，我亦为贼所胁迫，不得已而从贼。然我之内心日夜盼望能重新回归朝廷。情知罪孽深重，愿杀贼之守将并以此城归唐，以求能稍微抵吾之罪。日期定于……”
康承训与幕僚们商量约降事宜，有人反对道“怕其有诈，骗我等入城，到时将我们拘禁，此事甚危！”康承训道“我察张玄稔之词极为诚恳，不似奸诈之人。怕有不虞的话，我们到时不进城，等其出城接受其降，又有何危险？”于是便决定接受张玄稔之降。
夜晚张玄稔召集亲信数十人，告知他们归唐之志愿，大家均赞同。张玄稔便把投信给康承训之事告诉大家，与大家约好期举事。
九月初三这天，张儒、张实等正在柳溪亭饮酒。张玄稔暗中使部将董厚在亭西布置军队，自己率先跃马而前，向张儒一众大呼道："庞勋已被枭首于康将军寨中，汝辈尚有何面目苟活！"此时董厚领军士争相而前，将张儒、张实等数十人斩杀。城中突遭此变，纷纷惊扰，玄稔晓谕军民以归国之计，众军民见城内党的庞勋党与都已被杀，官军势力又越来越盛，都愿意投降，纷乱很快就平定了。于是张玄稔按与康承训约定好的，在城头竖起青色旌旗，开门出降。玄稔见承训后，肉袒膝行，涕泣谢罪。承训将其扶起，拜其为御史中丞，赏赐甚厚。玄稔说道："将军厚恩大德，卑职无以相报。愿克复徐州以将功赎罪。”康承训言道“将军之志可嘉。只是徐州为贼之巢穴，攻之不易。此事需从长计议。”张玄稔继续说道“如今我举城归国，远处尚未知晓。我可以假作城池被攻陷，我则伪装作突围而出，领兵急趋向苻离，贼党定然不以我为疑，城可立下。我刚又获得一重要军情，那贼首庞勋已带兵出了徐州。徐州城守不如往日之固，我拿下苻离后以迅雷之势急攻徐州，到时定可尽擒贼众，恢复徐州！"承训听后赞道“此计甚妙，我等候将军捷讯。”张玄稔又说道“只是庞勋带主力出了徐州，目前尚不清楚它有何目的，罪臣斗胆请元帅备好西方。”康承训回道“好，我这回定要消灭这老贼。”
宿州原有旧兵三万，康承训又增以数百骑，并重赏他们，使他们听命于张玄稔。于是张玄稔带这些兵士再次入城，晚上发平安火一如常日，因此别处城池戍守都以为宿州未陷。
初五凌晨，张玄稔令军士积柴薪数千束，纵火焚之，伪造成城池被陷、军队溃逃之状。张玄稔带领一部分军士在前伪作溃逃之兵，令其余兵士在后伪装作朝廷追击之兵。张玄稔一众直趋苻离，苻离城守见其匆忙狼狈之状，果然丝毫未起疑心，开门纳之而入。后面的伪追兵仍在城外呐喊叫嚷许久，苻离兵士更加坚信是张玄稔兵败而逃。
苻离城守带数十随从前来相迎，不想这张玄稔立即将他们一众杀掉，然后号令城中。一时变起仓促，城中兵士又见众寡不敌，匆忙间尽皆听命。张玄稔收集苻离之兵，又得万人。之后张玄稔统领大众火速向北进逼徐州。而徐州南面招讨使马举听闻后，也领兵前往徐州与其会和。庞举直、许佶听闻大兵临城，婴城拒守。张玄稔到达后，率众围城，按兵未攻，先晓谕城上人道："朝廷只杀逆党，胁从者与平民一概不罪。汝曹奈何为贼城守？若尚狐疑，须臾之间，将与逆贼同为鱼肉矣！"听了这话后，守城者弃甲投兵的越来越多。崔彦曾的故吏路审中直接打开城门接纳官军。庞举直、许佶只得帅其党与退守内城。
三天后的日暮时分，庞举直一众人等眼见大势已去，便带领亲信士卒连夜弃城从北门逃出。张玄稔带兵急速追击，庞举直因年老体胖而逃走缓慢，被张玄稔所追及。距离尚数十步远时，张玄稔射出一箭贯穿了庞举直的后背前胸。许佶与赵可立则侥幸逃脱了张玄稔的追兵到达萧县，但不久后萧县被宋威攻克，许佶与赵可立均被斩首。在徐州克复后，桂州八百戍卒的亲属族人全部被杀。