谁知道他到了潼关宣布要接掌兵权之事，潼关上的守将李岳、赵开却道：“已领李观察将令，不敢交出兵权。”
吴玠大惊道：“李观察已到潼关了？”
赵开道：“李观察昨日已到潼关，交代下军务后又往陕县去了。吴大人若要过去，我们却可放行。”
原来李彦仙在晋西南一带根基颇深，在河东各地也是人脉甚广，潜出张浚大营后直接向东渡河，在当地士绅豪杰的帮助下过风陵渡直入潼关，所以不但逃过了吴璘的追击，而且比吴玠还快了半天。
吴玠沉吟片刻，说道：“如今我奉张宣抚令谕接掌陕州各处兵权防务，两位若能听我节制，仍任原职。望两位以天下社稷为重，莫为李观察之私恩而负朝廷大义。”
李岳道：“朝廷大义？暗助金人，断送汉家在燕云的数十万大军，也是朝廷大义么？”
吴玠闻言变色，赵开对李岳道：“李兄，不可无礼。”又对吴玠道：“昨夜李观察已有交待，若是张宣抚大军前来，我等便闭门不出，若是张宣抚遣人前来，却可放过去。吴将军若要接掌陕州兵权，何不先去陕县见李观察？等李观察交出兵权，我等自会听将军节制。”
吴玠大声道：“两位真要以私废公么？”
李岳哼了一声道：“吴将军，您是陕西人，我可是山东人！张宣抚断送了齐鲁赵豫数十万条性命，我老家的乡亲可都在望西指骂呢！当初我们在李观察率领下孤城抗金，虽然生死朝夕不保，但个个奋勇自豪，心想便是死在这里也无愧于天地祖宗。但现在一想起山东父老指着我们的脊梁骨骂我便坐卧不安——吴将军，我是个粗人，现在还真弄不懂你说的公私究竟是什么！”
吴玠闻言黯然，赵开也道：“总之请吴将军去陕县吧，等吴将军说服了李观察，我们自然交出兵权防务。”
吴玠自知说不动他们，带了从人便往陕县来，过函谷关旧址后便见陕县处处有备战的迹象，进了陕州州城，李彦仙早已接管全州大小事务，听说吴玠来亲自接入州衙，问道：“晋卿，张宣抚派你来，是要来取我首级么？”
吴玠却反问道：“李观察，难道你真要背叛朝廷，投靠汉部么？”
“投靠汉部，我原无此意。”李彦仙道：“但现在朝廷之举措，却委实令人失望！从今日起，我愿为华夏守土，以待真天子之出世。”
吴玠作色道：“真天子正在江南！”
李彦仙道：“江南也罢，东北也罢，将来谁能兴汉灭胡，便是真天子。在此之前李彦仙当为陕州守土，汉人来任过，胡人来免谈！”
吴玠道：“若种彦崧要从陕州过，借道潼关，你也放他过去？”
李彦仙道：“若张宣抚有饮马燕山之志，要取道潼关去攻燕云，潼关的大门也会为他敞开。”
吴玠喝道：“李观察，为人臣子的本分你都忘了么？”
李彦仙叹道：“晋卿，我这么做，实非本愿啊！罢罢罢……”他取了利剑，剑锋出鞘，剑柄朝外对吴玠道：“晋卿若认为李彦仙当诛，便杀了我去向张浚复命吧。”
吴玠脸色沉重，手按剑柄，眼皮不住地跳，过了好久，终于将剑一推推入剑鞘道：“朝廷毕竟是朝廷，张宣抚于我又有知遇之恩，不能不报……保重！”说完最后一句话便转身上马而去。
不久种彦崧领了五千兵马渡河进入陕州境内，李彦仙并未阻击，但种彦崧兵马来到陕州城外时他又闭门不出，只派人来道：“愿种将军念令祖厚德，勿扰秦川百姓。”又送来粮草若干、书信一封，那书信却是给陕州沿途官吏父老的，通令他们放行勿作抵抗。
种彦崧问随军文臣邓肃道：“此是何意？”
邓肃道：“我揣摩李彦仙之心实不忍叛宋，却又不甘沦为助胡灭汉之罪人，故而如此。”
若杨应麒、萧铁奴到此反而要多几番疑虑，但种彦崧是个坦荡的人，对此亦不怀疑，领了兵马向西而来，兵不血刃便过了潼关，进入渭南地界，屯于关西镇，因其兵马过处秋毫不犯，临近父老听又听说是种少保孙子来，有许多都牵了牛羊端了酒水前来犒军。邓肃命随军商人尽数收下，按值给钱，陕民大悦，奔相走告，没几日整个渭南都知道了。
华阴令闭门不出，种彦崧命人传书入内，大意云：我本秦洛子弟，此来非为扰民，但来问张浚因何故通金袭汉，城内军民若还有几分血性，便当出城为我助威，若怕赵氏伪朝廷责罚亦可守城自保，只要尔等不袭我后，我军誓不相犯。
华阴令仍然闭门，但城内守军听到消息，连夜将他绑了，第二日出城押到种彦崧军中。种彦崧对那华阴令道：“人各有志，你虽不识时务，亦无死罪。”便命人将他逐出境去。
华阴守军便请种彦崧入城，种彦崧却坚持不进城，只派了商人入城买卖物资。邓肃领了几个文官进城召集父老，推出一个在当地德望高重的士绅来暂领华阴令之职。渭南百姓闻讯无不心悦诚服，不少豪杰不远数十里前来投靠，华阴当地的驻军也自请编入种彦崧麾下。种彦崧去芜存菁，选了两千人，打入原来的行伍当中，略加整顿后便朝张浚所在的冯翊缓缓逼来。
李彦仙本来还心怀不安，怕种彦崧入关后会掀起一场血雨腥风，待听说了种、邓二人在渭南的作为后大为叹服，对通判赵叔凭道：“其军容军德如此，怪不得山东两河的军民都愿归汉！”
赵叔凭本是赵氏宗室，这时却劝李彦仙道：“观察虽不忍背宋，但今日我等已负背宋之名，建康朝廷也断难再容我等。今日汉军既然有德，何不明白归附？若首鼠两端，恐非英断。”
李彦仙以问属官，职官刘效、冯经，县令张玘，将佐卢亨、邵云等都以赵叔凭所言为是。李彦仙这才下定决心，遣使告知曹广弼愿为他屏障晋西南，这时金军已经开始进攻太原，曹广弼在围城中得到这个消息为之振奋，马上传令，将河东府到解州的军政大权都交给李彦仙处理，又许他在潼关、洛阳之间便宜行事。
李彦仙见曹广弼如此信任，便将最后一丝疑虑也扫去了，一边组织兵力窥视洛阳，一边筹集粮草供给种彦崧。汾河河谷诸州县听说李彦仙加盟人心大定，便是一些墙头草也再不敢异动，晋、汾一带遂成为太原府、太行山两道抗金战线的稳定后方。