冯老爷自那以后，就添了心病，他常常在长子曾经住过的院子一个人喝闷酒，哪怕卫氏母子来敲院门，他都不开。
小儿子说得不错，这宅子里仅剩他一个儿子了，自己还真不能拿他怎么样。至于卫氏，她也没直接干什么坏事。要说有错，那也是自己的错，自己听信妇人之言，是自己糊涂。而且，动了她，小儿子怎么办？母亲被休，会影响孩子的名声，他还没成亲呢，刚订了婚。
思来想去，冯老爷只能把怨气报在卫氏的娘家上。谁让他们找了道士来骗自己把儿子挪出去的，谁让他们家送来的奶娘让人怠慢自己的孩子。
他找了个借口，说小儿子的奶娘偷盗，送了官，那奶娘起初还叫屈，后来冯老爷靠近她，低声问一句，“我大儿怎么死的？”她目瞪口呆，然后低下头去。
卫氏到牢里去问出了缘由，也不敢再替奶娘奔走。
这还不算完，卫家独子后来也因为口角打伤人命，卫老爷前来跟女婿求助，人家要五百两，才肯罢休。可是，冯老爷说，“我的长子我都救不了，还哪里有本事救人？”
等卫老爷去求自己的女儿和外孙，他们母子却十分为难，卫氏说，“我一个妇道人家，家产不在我手上。”卫昌盛说，“外公，家业今后是我的，可是，现在还不是。”
卫氏说没办法，卫老爷还能体谅，可外孙是冯家宅子里住的唯一的儿子了，这家业继承人都不肯为自己求情，卫老爷就知道，这外孙被自己教的太自私了。他擦一把老泪，蹒跚离去了。
卫氏这些年虽有接济家里，可是她到底是续弦，自己没有嫁妆，全靠男人养活，家中产业主要是田地，到她手里的活钱也没多少。卫家家底单薄，若非如此，当年也不会让女儿做妾，现在要拿出五百两，根本不可能。
卫家的独子到底还是被流放了，后来据说是流放地太苦寒，伤寒死了。卫老爷知道独子没了，收到消息的那天，就一口鲜血喷出，没多久，也去了。只剩下一个老妻，病歪歪地躺在床上。
冯老爷听见这么个结果，就到儿子墓前去烧了纸，“欺负你的人，爹都收拾了。你弟弟虽然对你不恭敬，但你去时，他还小，你别怪他。至于卫氏，为父也没有证据说她有对你怎样，如今，爹已经让她去庵里为全家祈福了。家中事务，已经交给你弟媳妇了，卫氏以后就算回来，也是在媳妇手上讨生活，她也好过不了。来世，我们若是还做父子，爹会尽心照顾你，不叫我儿移了性情，也不会再让你受苦了。”
卫氏后来说自己病了，从尼姑庵回来，冯老爷以卫氏有恶疾为由，把卫氏送去了乡下宅子养病，还说她的病回过人，不许接回来。卫氏心里明白是为什么，但是她不敢解释。有心说，那些事不是自己做的，可是想想，老爷什么都没说，自己去解释，岂不是自投罗网，反而越描越黑。不过好在，身边的下人伺候还算尽心，日常用度儿媳妇也让人送来，吃穿倒是不愁，就是山村里不如城里繁华。卫氏享过福的人，实在不甘心。
可是，卫氏只要回去，儿子和媳妇就会让人把她送走，说是为她养病好。后来，她实在气不过，质问媳妇眼里可有婆婆，但是媳妇说，“这是公公的意思，说让您在乡下为死去的大公子祈福。儿媳不知这是什么意思，但是公公说了，自您嫁进冯家，正妻嫡子就都去了，家里少了一半家业。公公说您克家，不让您回来。您就算为了自己的亲儿子，就在乡下荣养吧。”
卫氏想起当年父亲背着自己撺掇来的道士，还有什么不明白，再加上丈夫儿子都不收留她，再想想父亲也没了，兄长也没了，所有的依仗都没了。还能说什么？
卫氏的一生就在乡下度过了，后来她吃斋