不巧，公元１０７４年，河北大旱，十个月没下雨，农民断粮，四处逃荒。按说这只是自然灾害，却被变法反对派利用，有官员趁机献给宋神宗一幅《流民图》，硬说旱灾是王安石变法造成的，要求把王安石撤职。宋神宗也是忧民之君，看了《流民图》，很是难过，长吁短叹，夜不能寝。反对派大臣还鼓动了宋神宗的祖母曹太后和母亲高太后在他面前进言，哭诉天下被王安石搞乱了，逼迫宋神宗停止新法。王安石迫于形势，上书辞职。
在这个微妙时刻，宋神宗如何用人就成为变法成功与否的关键了，如果顺从了大臣的意见，罢免了王安石，则变法就功亏一篑了，若是坚持下来，则可能会向顺利的方向发展。结果，宋神宗并不是一个坚定的领导者，他批准了王安石的辞呈，让他暂时离开东京，到江宁府休养，新法受到了挫败。
第二年，宋神宗还是想继续变法，把王安石再次召回出相。然而，事有凑巧，刚过几个月，天空出现了彗星。这正常的自然现象在当时是不吉之兆，反对派大臣自然不会放过，趁机攻击新法。王安石虽然竭力为新法辩护，劝说宋神宗不要迷信，但宋神宗还是犹豫不定，王安石无法继续贯彻自己的主张。此时，王安石祸不单行，这一年，他的爱子王病死，王安石老年丧子，精神受到重大打击，遂力请辞相。同年十月王安石第二次罢相，出任江宁判府，次年六月又辞官闲居江宁，元祐元年（１０８６年）四月，他听说司马光等人把新法完全废除后，在忧愤中去世。
王安石变法是北宋历史发展的一个必然要求，也是北宋政府摆脱积贫积弱局面的一次良好机会，但是宋神宗用人立场不坚定，太容易动摇，最终无法让王安石发挥自己的才能，变法失败。历来史家对王安石的用人多有批评，其实宋神宗用人的问题似乎更关键，值得探讨。但是《宋史》中却不这么看，反而认为是王安石误导了宋神宗，书中说道：（宋神宗）即位，小心谦抑，敬畏辅相，求直言，察民隐，恤孤独，养耆老，振匮乏。不治宫室，不事游幸，励精图治，将大有为。未几，王安石入相。安石为人，悻悻自信，知祖宗志吞幽蓟、灵武，而数败兵，帝奋然将雪数世之耻，未有所当，遂以偏见曲学起而乘之。青苗、保甲、均输、市易、水利之法既立，而天下汹汹骚动，恸哭流涕者接踵而至。