政要务托付给羊祜。
羊祜任职历魏晋二朝，掌握国家机要，重大举措，都要向他咨询。他所献的好计谋和正直的议论，事后都把稿子烧掉，所以世人很少知道。
这时，就有人到他的家里给他送礼，让他帮着向朝廷举荐自己，一度踏平槛石，往来如蚁。他也为此飘然。
他的母亲孔老太太（孔融的女儿）这时还健在，她劝羊祜，“在朝为臣有举荐贤士之责，然，贤士不以金帛求取仕途；反之，均为利己小人尔。你要净心拭眼，不可贻误朝纲。”
羊祜这才顿开茅塞，对举荐人才分外小心，对于那些猫头鼠眼，不坏善意的势利小人，一概拒之门外；对那些贤士人才，他会拼力举荐，凡是他所荐拔的人，都不知荐拔人是谁。
羊祜的女婿劝羊祜说，“购置些田产家业，也好卸官后有所归宿，后事有所依托，这样不是很好吗？”
女婿的话，听上去，没有什么错，羊祜无话可说，但是，当时在场的姐姐景献皇后羊徽瑜反驳说，“这种说法是不对的。作为人臣，经营私业就违背公事，这是很糊涂的做法，你们不应有这种想法。”
羊祜讨伐孙吴有功，应当增封爵位与封地，于是请求皇帝将自己应增的爵位封地赐给舅父的儿子蔡袭，于是晋武帝下诏封蔡袭为关内侯，食邑三百户。
…… ……
同年冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口，羊祜没有派兵进行追击。事后，晋武帝派人追查原因，并打算移徙荆州的治所。
羊祜说，“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢？让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”
使者也无法责问羊祜了。
…… ……
咸宁四年(278年)八月，羊祜染病，请求入朝。返回洛阳正逢姐姐景献皇后羊徽瑜去世，羊祜十分悲痛，病情更加严重。司马炎下诏，命他抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。
后来羊祜病重不能入朝，晋武帝专门派中书令张华前去咨询方略，羊祜对张华说，“吴人暴政已到极点，此时伐吴
…。。