司马炎虽然没有太多的开创性，但是统一天下的梦想还是有的。泰始五年（２６９年），他把才识出众的尚书左仆射羊祜拜为都督荆州诸军事的职务，坐镇襄阳（今湖北襄樊），这是他能够统一天下所使用的最关键的一个人才。羊祜虽然不是司马氏的宗室，却是司马师的内弟，也就是西晋皇室的重要外戚。羊祜有卓越的军事才能，到襄阳后，他努力安定民心，减轻赋税，采取各种办法，做好平定东吴的军事物资的储备，只是战事进行得并不顺利。东吴西线军事的主帅由陆抗出任，陆抗是火烧刘备联营的陆逊的儿子，是个出色的军事家。陆抗上任不久，便攻破西陵，挫了羊祜的锐气。羊祜也由此知道灭吴不是一朝一夕的事情，于是继续积蓄力量，等待时机。到咸宁四年（２７８年）六月，羊祜病重，自知不久于人世，要求入朝面陈灭吴大计。司马炎还是很重视人才的，允许他乘车上殿，不行参拜之礼，对他提出的意见表示愿意听取。羊祜回家休养的时候，仍然思虑灭吴大计，要前来探病的中书令张华转告司马炎，表示当时吴主孙皓暴虐，人心思变，是西晋出兵的最佳时刻。如果等到孙皓死掉，吴国另立新主，能够励精图治的话，就算有百万雄师，也未必能渡过长江天险。羊祜的这些话，震动了司马炎，他要求羊祜带病出征，完成统一大业。羊祜自知自己大限已近，就表示灭吴战争不一定非他指挥，但是可以推荐一个能够胜任的人选。当年十一月，羊祜病故，临终前他推荐了杜预。