因他管教不力，也受了牵连，被停职在家中，等事情过了再做定夺，他想进宫面圣，侍卫却将他拦在午门外，他知道这是皇帝不愿见他。皇帝向来温和，这次动了大怒，他也没办法，只好回到家中。
白夫人听到消息，吓得魂飞魄散，从佛堂连滚带爬的冲到他房里，哀声嚎哭跪在他面前，求他救幼弟一命。他仰天长叹，摇头不语。
因李刚没有官职，亲族虽受了牵连，但罪不至死，李刚他爹李德海的正二品礼部侍郎也被革了职，举家迁回乡下老家去了。
李刚的所有财产被充了公，妻妾走的走，散的散，只有年幼的孩子跟着祖父母回了乡下，曾经显赫一时的侍郎府，一夜之间剧变，大门紧闭，贴上了金笔大印的封条。
李刚带着马氏母女和黑衣武士躲进了山里，马氏母女受不得苦，偷偷下山到村子里找吃的，被山下的官兵抓捕，马氏母女怕受刑，供出了李刚的藏身之所。周子明带领铁旗营上山，一举抓获了李刚，当场斩杀，只是黑衣武士并没有悉数抓尽，占着有利地形，跑了几个。
至此，闹得沸沸扬扬的私养武士案便正式告一段落。