王安石的变法对巩固宋王朝的统治、增加国家收入，起了积极的作用。但是，也触犯了大地主的利益，遭到许多朝臣的反对。

有一次，宋神宗把王安石找去，问他说：“外面人都在议论，说我们不怕天变，不听人们的舆论，不守祖宗的规矩，你看怎么办？”

王安石坦然回答说：“陛下认真处理政事，这就可说是防止天变了。陛下征询下面的意见，这就是照顾到舆论了；再说，人们的话也有错误的，只要我们做的合乎道理，又何必怕人议论。至于祖宗老规矩，本来就不是固定不变的。”

王安石坚持三不怕，但是宋神宗并不像他那么坚决，听到反对的人不少，就动摇起来。

公元1074年，河北闹了一次大旱灾，一连十个月没下雨，农民断了粮食，到处逃荒。宋神宗正为这个发愁，有一个官员趁机画了一幅“流民图”献给宋神宗，说旱灾是王安石变法造成的，要求神宗把王安石撤职。

宋神宗看了这幅流民图，只是长吁短叹，晚上睡不着觉。神宗的祖母曹太后和母亲高太后也在神宗面前哭哭啼啼，诉说天下被王安石搞乱了，逼神宗停止新法。

王安石眼看新法没法实行下去，气愤得上书辞职。宋神宗也只好让王安石暂时离开东京，到江宁府去休养。

第二年，宋神宗又把王安石召回京城当宰相。刚过了几个月，天空上出现了彗星。这本来是正常的自然现象，但是在当时却被认为是不吉利的预兆。宋神宗又慌了，要大臣对朝政提意见。一些保守派又趁机攻击新法。王安石竭力为新法辩护，要宋神宗不要相信这种迷信说法，但宋神宗还是犹豫不定。

王安石没办法继续贯彻自己的主张。到第三年（公元1076年）春天，再一次辞去宰相职位，回江宁府去了。