两年后，虞允文被召回，升任枢密使，后虞允文进为首任左丞相，仍兼任枢密使。宋孝宗在抗金问题上，是非常依靠虞允文的，曾对他说：“丙午（靖康元年，１１２６年）之耻，当与丞相共雪之。”这年九月，虞允文再次罢相，以少保、武安军节度使任四川宣抚使，封为雍国公。宋孝宗这样安排是希望虞允文率一军从川陕主攻，自己亲领一军在淮南出师，兵分两路伐金。虞允文则吸收当年被迫从已攻占的西北三路十四州退兵的教训，提出“异时戒内外不相应”。宋孝宗回答得很干脆：“若西师出而朕迟回，即朕负卿；若朕已动而卿迟回，即卿负朕。”于是，虞允文离开京城的那一天，宋孝宗亲自在皇宫正殿赐酒赋诗送行，并特赐虞允文在殿门乘马，持节度使仪仗出京。虞允文这时已经年过花甲，但雄心不减，于乾道九年初抵达四川，整顿军马，积极备战。宋孝宗的心情更是急不可待，期望早日发动对金战争，一雪前耻，并密诏催促虞允文发兵。虞允文毕竟征战多年，知道军需未备，不好轻易动手，他提出：“机不可为，但令机至勿失耳。植根本，国富强，待时而动可也，安敢去师期为乱阶乎。”宋孝宗有些不满，虞允文也了解宋孝宗的心情，更加日夜奔忙，常常“戴星乘马，冰满鬓髯”，最终积劳成疾，竟然病死，享年６５岁，宋孝宗的计划也成为了泡影。
虞允文的死，对孝宗打击很大。从此以后，他再也不提北伐了，为政求稳，渐趋于保守，将全部精力转移到内政建设上。不久，太上皇宋高宗病死，孝宗也倦政了，两年后传位光宗。在当了五年太上皇之后，孝宗病死。