果然那些绸庄的老板一见他们，都指责他们弄虚作假，以次充好，欺骗客户。
检查次品，他们发现外表与自己的货毫无两样，但一匹匹绢摊开来，里面惨不忍睹，不是跳针就是折褶，或者斜纹，连次品也算不上，简直就是垃圾。这样的东西冒充好货交给绸庄，难怪人家火冒三丈。施贵林他们一家一家的上门道歉，将那些次品全部换下，并许诺承担全部损失。
最后他们载着那些次品，灰溜溜地返回。算下来，那一船优质织绢全泡了汤，白白贴了几天的工夫和开销。最要命的是，虽然他们作了解释，但看得出来，绸庄的老板并不太相信，还是在怀疑他们故意弄假。
时间又过了两个月，这五户人家又要往省城送织绢了。船行了一天，到天黑时正好到达那个小浜边，以往他们总在此处过夜，但这次他们过了大湖，又行了约二十里，才找了一个隐蔽的河湾停船过夜。
这一夜无事，第二天一早他们继续行船。到了省城交货，绸缎庄的老板一反以前免检的做法，拿起卷好的织绢摊开，看里面是否包着次品。结果没有发现异常。
如此又半年过去了。这天五户人家又去省城送货。由于多次送货均正常，绸缎庄的老板恢复了对他们的信任，继续给与免检的待遇。然而那次又出纰漏了。从省城回来后不久，同村其他人家去省城送货，又被拒收了，原因与上次相同，就是施贵林他们五户人家送了一批次品。
这几个乡亲回来，把施贵林他们大骂一顿。施贵林等五人如雷轰顶。他们赶紧乘上船向省城赶去。到了绸缎庄一检查，跟上次一样，好的包在外面，里面卷着次品。
那些绸缎庄的老板都很愤怒，尽管施贵林他们连连赔罪，愿意掉换，并且承担全部损失，但这些老板都立下誓言，再不接纳施家庄的织绢了。
载着那些次品，施贵林他们的船驶在回家的路上。五个人心情灰暗，一路无话。他们想不通，这些次品是哪里来的。沉默了好半天，施贵林对四个人说：“大伙想一想，咱们到底哪个地方出了漏子？”可是谁也想不出漏子出在哪里。忽然其中一人说道：“我在想，是不是绸缎庄的老板在……讹我们？”
施贵林心里一动，觉得这是个新想法。顺着这条思路想下去，越想越有道理了。他吃惊地说：“如果真是这样，那么上次抢我们的强盗，难道就是这些绸缎庄派的？”
五人都被这种分析吓一大跳。他们既不敢轻易相信，也无法摆脱这种怀疑。有人问道：“他们这样做，又为啥呢？”又有人说：“当然是吞了咱们的货款。”是啊，一船织绢值上百两银子，绸缎庄派人劫下来，再放一些不值钱的次品，到时让卖家退赔，就全部白得了。五六家绸缎庄，每家可白赚二三十两银子。
但这种可能性存在吗？五个人你看我我看你，谁也不敢确定这种推论。最后他们认为防人之心不可无，还是得怀疑怀疑。不过有一点要弄清，这次的次品，到底是怎么被掉换的呢？这一路到省城，他们在半路停了两次，第一次过了大湖再行二十里，第二次则离省城二十里。两次过夜都很平静，并没有发生什么变故啊。
这次回来，他们的损失可大了，省城的生意全部毁了。但损失的并不是他们五家，还有整个村子。就在他们回到村里时，受到了其他人家的一致谴责。五个男人灰头土脸，忍受着乡亲的责骂，无法作出辩护。
施贵林进了家门，扑在床上大哭一场。妻子端来了酒菜，劝他先填饱肚子。施贵林扑通一声跪在妻子面前，哽咽着说：“娘子啊，我们这五个男人，对不起你们在家的女人啊，你们起早贪黑，辛苦劳作，一梭一梭织成这么好的绢，却让我们给糟蹋了，没有换回银子，反而换回次品，还坏了名声，断了一条好财路。”施妻安慰道：“夫君，上次你们是受了强盗的劫掠，被掉了包，这不是你们的错。可现在到底怎么回事，你们好好想过没有？”“想过了，谁也想不出那些次品是怎么被换过来的。我们猜，是不是那些绸缎庄合计起来算计我们？”“这不太可能啊，咱们施家庄的绸缎四海扬名，一向受省城的买主欢迎，绸缎庄对我们的绸缎是抢着要的，这么多年交情了，怎么可能施这样的手段来害我们呢。这一定是其他人所为。你好好想想，在去的路上，有没有发生过古怪的事？”
听了妻子的话，施贵林平静下来，努力回忆着路上的每一个可疑的细节。终于他想到了一点，喃喃地说：“我们第一夜停船过夜，半夜我好像听到有船从旁边过，还轻轻碰了我们的船一下。但我以为是打鱼的，没在意。而且我也很快睡过去了……”“其他人呢？”“他们也睡得很香。”
施妻沉思一下，郑重地说：“夫君啊，现在可以肯定，有人在盯着你们送货的船。第一次是强盗直接抢，这第二次，他们没有明抢，会不会是暗偷……”“暗偷？”施贵林的脑袋里忽地一闪，脱口而出，“我想起来了，在那条船碰了一下后，我闻到了一股香味……”
施贵林茅塞大开，但也气恨极了。看来他们第一次是被公然抢夺，第二次被阴谋算计。确实有一伙坏人，专门在盗抢他们的织绢。施贵林马上去找其他四人，将这种发现说一遍。众人都认为有理。
接下来怎么办？还去不去省城送货？施贵林一挥手说：“省城绸缎庄不要我们的货了，但我们还得去，要把这条销路捡回来，不能让施家庄织绢的牌子永远坏掉。”
几天以后他们装上织绢，开船前去。到了大湖过去二十里处，施贵林决定就在老地方泊船。半夜时分，他们又听到河面上有船划动，接着又轻轻地碰上他们的船。施贵林他们在黑暗中竖起耳朵，果然听到舱门在轻轻地移开，随即闻到了一股异香。幸亏他们早有准备，全部用毛巾蒙住鼻孔，然后装作沉睡打鼾。
这条船有三个舱，一个烧饭，一个睡觉，另一个装货。很快他们听到有人在轻轻地问：“喂，船里的人睡了吗？”这分明是试探。大家没吭声。隔壁的舱里立即响起动静，是有人在那里搬货了。
他们五人全明白了，原来上次就是这样被暗算的，有人用闷香将他们闷晕，然后偷梁换柱，掉换了他们的好绢。其他四人血气上涌，要冲出去跟那些人拼命。施贵林连忙拦住了，示意大家要冷静。一会儿舱里停止动静，河面上响起行船的声音，并且正在远去。五人从舱中钻出，放下一条小舟，留下一人看大船，四个人则划着小舟，跟踪而去。
朦胧中，施贵林看见前面有条大船在前行。他们保持一定距离跟着。船进了邻县的德县地界，没有往省城方向，而是拐向德县县城。最后停靠在了一个船坞上。他们把小舟也停在不远处监视它。等天亮以后，留下一人看小舟，施贵林与另两人向县衙奔去。
德县县衙离这儿不远。他们马上击鼓喊冤。里面一声吆喝后，有衙役出来将他们带进去。德县县令正襟危坐，开口问他们有什么冤。施贵林就将事情从头诉说一遍，说现在这条盗贼船就停在前面的船坞里，还请青天大老爷替我们作主。
县令听罢，显得十分吃惊，问道：“竟有这样的事？你们看清楚了？”“看清楚了，不会错的。”县令就叫过都头，带人前去搜查那条船。然而当都头等人跟着施贵林他们到了船坞，却发现那条船不见了。
都头不满地问：“是不是你们说谎？”施贵林忙说确有其事，那条船刚刚就停在此处。 “那现在怎么没有呢？”施贵林忙朝小舟跑去。结果那个守小舟的人说，刚才岸上下来一个酒鬼，手里拿着酒瓶，硬要叫他喝上两口。两人在小舟上拉扯，结果小舟翻转，都掉进水里。等他把酒鬼救上岸，再看那条船就已经不见了。
听说船开走了，都头只好摇摇头说：“这个我们没办法啦，我们没看到那条船，凭什么相信你们？”说着带人走了。
施贵林气得连连跺脚。他一咬牙说：“追！”他们的小舟驶出船坞，前面出现三条岔道，究竟往哪里追呢？四个人，一人认为往东，一人认为往南，一人认为往西。最后由施贵林决断。施贵林分析说：“这三条路，往西是山区，往东通邻省了，往南是省城。你们想想，这些人偷了我们的绢，会送往哪里？我估计一定是省城，因为我们这两县的织绢，基本都往省城销售，他们可能也不例外。”施贵林决定往南追寻。
四个人齐心协力，拼命划桨，终于在半个时辰后望见前面的船了。但他们没有立即追近，而是远远的跟着，一直跟到了省城。当那条船停了岸，从船舱里搬出织绢往绸缎庄送时，他们才冲上前，把那几个人截住。正好前面来了一队巡街兵丁，施贵林高喊着：“快来人哪，有人抢了我们的织绢。”