一开始的时候，王世充因为裴仁基、裴行俨父子骁勇善战，所以很看重他们，篡隋登基后，以裴仁基为礼部尚书，以裴行俨为左辅大将军，还将自己的侄女嫁给了裴行俨，对他们父子可谓是重用有加。
裴仁基、裴行俨父子投降王世充本来只是迫于形势，但见王世充如此重用自己，也是感到颇为欣慰，产生了要向王世充完全效力的想法。
但是后来，王世充又因为裴仁基、裴行俨父子在李密旧部中的威望太高，所以对他们父子渐渐产生了猜忌之心，不仅向裴家的住宅派暗哨监视，还往裴家父子的职务中安插了打小报告的人物，让那些人每天都向他禀告裴家父子的一言一行。
裴仁基、裴行俨父子渐渐的察觉到了王世充对自己的所布置的那些手段，内心感到不安，怕王世充终有一天会对他们下毒手。
于是与尚书左丞宇文儒童、宇文儒童之弟尚食直长宇文温、散骑常侍崔德本谋划杀死王世充及其党羽，重新尊奉皇泰主杨侗为君主。
然而他们的计划，又怎瞒得过疑心病重的王世充？
宇文儒童、宇文温兄弟和崔德本三人，都是坚定的保皇党，一心想要恢复隋室，皇泰主被王世充废掉后，他们这三人多方联络走动，早已引起了王世充的注意，但王世充一直是对他们三人采取放长线，钓大鱼的策略，一直暗中观察，没有发动。
所以当裴仁基、裴行俨父子最近与宇文儒童、宇文温兄弟和崔德本三人联系稍有密切时，以阴谋起家的王世充，立马便猜到是这怎么回事了。
七月初十晚，王世充从前线返回洛阳，将要在皇宫中庆功宴，裴仁基、裴行俨父子，宇文儒童、宇文温兄弟和崔德本五人都在邀请之列。
就在裴仁基父子正准备离开厅堂去沐浴更衣，以为入皇宫做准备之时，忽然有管家持了个令牌走了进来，“老爷，大公子，有人拿了这个令牌前来求见。”
裴仁基接过令牌后扫了一眼，顿时脸色一变，“将来者带到我书房，不可让闲杂人等靠近他。”
管家立即神情严肃的离开了，裴行俨似乎也认出了那块令牌的来历，“爹，这真的是我那兄弟的令牌吗？”
裴仁基点了点头，略带惆怅的道：“这是当年张须陀老将军亲自为他打造的虎牌，上面的字迹，便是老将军的笔迹，这天下不会再有第二块的了。”
裴仁基说着，便向书房走去了，裴行俨也随之跟了过去。
裴仁基、裴行俨父子在书房静坐了一会后，一阵敲门声响起，“老爷，人带到了。”
“进来吧！”裴仁基淡然答了一声。门被推开，走进来一个头戴着破旧斗笠的汉子，那汉子将斗笠拿下后，露出了一张俊朗的脸。
“罗兄弟，真的是你！”裴行俨立即高兴的走了上前。原来来者，竟是李隐的手下大将罗士信。
“裴将军，裴大哥！”罗士信向裴家父子各自行了一礼。
罗士信与裴行俨的关系很要好，当年张须陀大海寺被李密所杀后，罗士信最后归到了裴仁基手下，便是在那时与裴行俨结交的，因为两人年纪相差不大，又都以勇猛冠绝于军中，所以一见如故，时常互相切磋武艺。
后来裴仁基因为监军御史萧怀静的处处刁难，所以打算投靠李密，罗士信因张须陀被李密所杀，所以不愿跟着投靠，其时刚好听闻李家已入主关中，而灵武公李隐又曾在张须陀死时，让雁门郡全城挂过白帆，所以便独自离开了虎牢，单骑入关中……
罗士信离虎牢时，裴仁基也是知道了的，但他却未加阻挠，所以双方关系也还可以，只是不知罗士信这时为何会出现在这里。
罗士信似是看出了裴仁基的疑惑，他也没再多说废话，直入主题道：“裴将军，裴大哥，我是晋王殿下派来的，晋王府在洛阳有探子，据他们打探到的消息，王世充将会在今晚庆功宴上捉拿你们。”
罗士信这话说完后，裴仁基与裴行俨都是大惊失色，两人脸上都是一阵惊疑不定，显然是对罗士信之言抱有疑心，这也是常理，毕竟双方关系虽好，但这时却是处于两个敌对阵营之中。
罗士信道：“晋王府的探子遍天下，这点从当年他千里救翟让便能看出一二，据晋王府暗探传来的消息，王世充现在已于皇宫中布下刀斧手，只要你们一入宫，就会对你们不利。”
罗士信说到这后，向裴仁基父子抱拳道：“我想说的便是这么多，信与不信都在你们，如果信的话，便在一个时辰内到城北十里外的松竹林，我会在那里等你们。”
罗士信说完，便将破斗笠戴上，转身推开了书房的门，快步走了出去。
裴仁基父子面面相觑了一会，裴行俨道：“爹，我看罗兄弟不像是会诓我们的人。”
裴仁基沉吟了许久，忽然有些明悟，额头猛的飙出了冷汗，“难道是王世充知道了我们最近的图谋？”
经这么一想，裴仁基顿时觉得许多事都想得通了，“我还正疑惑现在前线战事正紧，王世充怎么就忽然的要回来举行庆功宴了呢，现在看来，只怕是回来将矛头对准我们父子了！”
裴行俨脸露狠色，“爹，要不我们一不做，二不休，现在就杀入皇宫中去！”裴行俨艺高人胆大，虽然现在他们能掌握的兵力不多，却一点也不怂。
裴仁基连忙摇了摇头，苦笑道：“王世充疑心病重，在皇宫中布置了许多兵力，就凭我们这点人马，是奈何不了他的，还是离开洛阳再做打算吧！”
裴行俨听后，这才作罢。
随后，裴家父子立即收拾家当，带着亲卫匆匆出了洛阳城，直往城北而去。
在皇宫中磨刀霍霍等候了许久的王世充，左等右等不见裴家父子进皇宫后，派人稍一打听，才终于知道了裴家父子已连夜出城的消息，连忙派兵去追，然而裴家父子却被接应他们的罗士信，一路走早已安排好的道路，迅速的到了大唐的控制之地……