到了开皇四年（584年）时就死在了任上，留下三个儿子冯魂、冯暄和冯盎。
欧阳纥叛乱二十年以后，隋朝灭陈，岭南一时群龙无首，一片混乱。各州郡公推当时已经年过古稀的冼太夫人为首领，称其为“圣母”，举兵自保州境，不少人还趁机劝冼太夫人借此机会独立。
而冼太夫人确认了陈朝确实已经灭亡，连陈后主也投降了的消息后，召集了数千岭南各族的首领，痛哭流涕，然后才投降隋军。
隋文帝杨坚感叹于冼太夫人的忠义，封她为“宋康郡夫人”。韦洸也因为其兵不血刃，连下二十四州之功被封为广州总管，出镇整个岭南地区。
裴世矩说完了有关冯家和冼太夫人的整个故事，笑着对王世充道：“世充，现在你也清楚了冼太夫人的背景和往事，你觉得她会虚以委蛇，暗中和叛军勾结吗？”
王世充刚才听的时候默不作声，脑子里却一直在思考着，得知了这些冼太夫人的往事后，他对这个岭南英杰有了全新的认识，抬起头，长出一口气，正色道：“不会的，冼太夫人是聪明人，从她这些年一向的举动来看，臣服于中原王朝，放弃任何割据称王的想法，应该是她的原则。
无论是南梁还是南陈，李迁仕，欧阳纥的两次叛乱中，她都是坚定地站在了朝廷一方，在南朝时，她所忠于的建康皇室就是朝廷，现在我朝击灭南朝，她又当众率领岭南的数千部落首领归顺我朝，那她心中的朝廷就是在大兴的至尊，这一点绝对不会有含糊。
冯暄的那件事情应该是个意外，年轻人没有象冼太夫人那样几十年的经历，更没有见识过中原军队的强悍，也不会意识到岭南无论是军事还是生产上相对于中原地区的巨大落后，只是出于个人的义气和同族之情，没有和叛军交战。
我想如果冼太夫人真的有响应叛军，割据岭南打算的话，在王仲宣攻杀韦洸，围攻番禺城的时候，不会还让冯暄跟陈佛智这样继续对峙下去，而是会合兵一处了，以她在岭南巨大的影响力和人气，肯定会被各路叛军推为首领的。”
裴世矩微微一笑：“我的看法和世充的一样，所以现在不急，高仆射前些日子又给我来信，说是荆州总管王世积，上次出兵岭南时，走到韶关一带时因为遭遇了瘴疠，军中疫病横行，失去战斗力，被迫退还荆州，现在经过大半年的休养，又重新招募了三万大军，再过一个半月就能出兵了。
高仆射给我的最新命令是以新募集的士兵扼守韶关，为王总管的大军打好前站，最好是能攻下岭南
…。。