，特别是得宠的权臣的关系，甚至为此不惜去百姓那里刮地皮。可是羊祜是个正直清廉，毫无私念的人，这些东西他不会做，也做不来，看见邪门歪道就来气，以至荀勖、冯紞等人十分忌恨，常常在皇帝面前诋毁他。可羊祜丝毫也不为自己着想，只知谋国，不知谋身。王衍在朝中也有一定影响，而且还是他的叔伯外甥，曾经专门来襄阳见他，这不正好是个表现自己如何为国如何忠诚，顺便与王衍大人拉近关系的大好机会吗?可是这个王衍是个夸夸其谈的家伙，根本不对羊祜的胃口，羊祜甚至评价说：“王夷甫方以盛名处大位，然败俗伤化，必此人也。”结果，惹得王衍拂袖而去，这样羊祜又增加了一个在皇帝面前告状的对手。
更有甚者，他实行以道德感化来征服东吴将士的攻心之策，大巧若拙，诚信至上，不仅互通信使，还有礼物往来。应该说，这个战略思想在当时的客观条件下无疑是对的，实践中也确实收到了良好的效果。这里面有一个问题，那就是非常容易被别人扣上通敌的帽子，这也是非常具有杀伤力的一个罪名，因为你手握重兵，而皇帝又不经常和你在一起，他也常常是难辨别真假，众口铄金，后果往往很严重。可是，羊祜不管这些，“苟利国家生死与，岂因祸福避趋之”，这个危险的政策，他一直实行到死。
公元278年，羊祜病逝。朝野闻之，无不大恸。据载，晋武帝披麻戴孝扶棺痛哭，泪水在脸上都结了冰。荆襄各地，一片哭声。东吴的戍边将士，也都暗中垂泪。羊祜生前，喜游岘山，襄阳各界便在山上为他建庙和立碑，按时祭祀。
每逢来到此处，都忍不住失声落泪，后人遂把此碑称为“堕泪碑”。荆州人为了避羊祜的名讳，还把房屋的“户”都改叫“门”。
羊祜曾经对自己的儿子说过这样的话：“人臣树私则背公，是大惑也。”
在给堂弟羊琇的信中他这样说：“疏广是吾师也”。应该说，这就是他的肺腑之言，他的一生也正是这样做的。可以说，羊祜的“不合时宜”，为的都是国，都是民，而唯独没有他自己。正因为如此，他死后才会那么深入人心、那么让人怀念。