司马炎非常信任羊祜推荐的人选，就让杜预接替了羊祜的职务，以镇南大将军、都督荆州诸军事的职务出镇襄阳。杜预上任之后，以离间计诱使孙皓撤换了有些才能的西线统帅张政。孙皓在临战之前换帅的做法，导致了军心不稳。杜预经过一段时间部署之后，咸宁五年（２７９年）八月，向司马炎上奏请求伐吴。司马炎还是有些犹豫，答应明年准备出兵。但杜预上奏反对，表示东吴西部的兵力已调空，士气也不振，是大举进攻的最好时机，如果给孙皓以喘息的时间，很可能会功亏一篑。这时，益州刺史王也上奏请战。他说，臣在益州为准备灭吴大造战船，至此已有七年。所造战船有的已开始朽烂，自己年纪也已到七十，来日无多，实在不能再等下去了。因此他请皇帝切勿坐失良机。
这王原是羊祜的参军，羊祜颇为器重，并向司马炎推荐，被委任为益州刺史，负责组建水军。当时朝廷让他调用屯田部队建造战舰，但他认为屯田部队人太少，几百人造战舰，一年也造不了几艘，等后面的造好，前面的都腐烂了。在司马炎的默许之下，王绕开政府官僚机构的审批程序，私自调遣了一万益州驻军同时开工造战船。王确实是个人才，从他造船的气度上就可以看出。他造出来的船长一百二十步，能装两千士兵，船上多层甲板，甲板大的可以在上面跑马，这样的楼船造了两三百艘，造船的刨花木渣都覆盖了江面，顺流而下。
司马炎被这些意见说服了，开始倾向于及早伐吴。但是他的宠臣贾充等人搬出种种理由加以反对，一到这个时候，他又迟疑起来，要不怎么说他算不上一个称职的开国皇帝呢。一次，他和中书令张华下棋的时候，恰巧杜预的又一份请战奏疏送到，一直主张灭吴的张华趁机把棋局一推，极力主张伐吴，并催促司马炎当机立断。在这种形势下，司马炎终于同意立即灭吴。贾充等人听到消息又赶来劝说，惹得司马炎发起火来，他们才不敢再唱反调。
咸宁五年（２７９年）十一月，司马炎命令张华为度支尚书，在后方主持灭吴大计，掌管漕运粮饷。同时，他发布诏书，下令二十万大军，分六路大举进攻吴国。不过司马炎用人惟亲的缺点也表露出来，贾充虽反对此次用兵，但毕竟是司马炎最亲信的大臣，于是被选定为平吴主帅。那贾充起初推辞不去，还是在司马炎一再坚持下才答应的。到了前线后，贾充仍然一再上奏称东吴不易平定，要求司马炎让他班师回朝，而事实上战事进行得很顺利。
太康元年（２８０年）年初，南下灭吴的六路晋军所向披靡，孙皓派出的军队都被晋军击败，丞相张悌等人战死。这年三月，王训练的水军发挥了作用，顺利沿江而下，攻入石头城。吴主孙皓无计可施，投降了晋军。至此，东吴亡国，全国重归一统。孙皓投降之后，西晋举朝庆贺。司马炎追念羊祜当年为经营平吴战争而作的努力，不由感叹道：“这都是羊祜的功绩啊！”