辞别陈升之后，王安石骑着毛驴回到钟山定林寺中。

定林寺为南朝名寺，当年梁武帝兴佛，此为佛宗圣地。这里也是文人圣地，刘勰在此写出了《文心雕龙》。

王安石退隐之后在定林寺中有一书斋，名为昭文斋，这原是僧房被改建为书房。

昭文斋听起来好似昭文馆大学士的意思，好似自己乃山中宰相一般。

其实王安石自写了一首诗回应了众人的这个想法。