严嵩有两张脸孔，见皇帝媚态可掬，见下属威严十足；高拱也有两张脸孔，见下属悍态毕露，遭贬谪魂飞魄散。宣毕谕旨，众臣皆散，高拱仍瘫在地上，一脸茫然。幸张居正及时返回，将高拱掖出乾清宫，高拱醒悟过来，想起谕旨中“不许停留”之句，便即刻回府打点行装，准备返乡。韩楫之流，吓得屁滚尿流，人面不见。还是张居正讲点人情味，他上书少年皇帝万历，请求予高拱“驰驿”回乡，以存体面。见张居正如是说，万历自然无话。
离京之日，高拱修书一封致徐阶称：“我本无报复之心，而世人不理解我，都说我睚眦必报……往事如梦，黄粱已熟，一叹一笑而已。”
徐阶的复书十分简单，道“往年叨冒过甚（太盛了），庚、辛（海瑞巡抚应天，蔡国熙任职兵备副使）间诸患（众多大难）都是自招，幸赖主上明圣，得脱涂炭，今只一味感恩，不敢尤（责怪）（别）人。”前后两任首辅之书信交往，就此中止。
高拱被逐，内阁由张居正出任首辅，徐府的旧案，一概中止。削籍（三子被夺职为民）、充军、没收田产等举全都撤销，徐阶携三子修整门户，约束子孙，恢复了平静的退休生涯。只是想起遭难期间六个孙辈无人照料而横遭夭折，仍不免心疼。而那高拱回到河南新郑，到家庙祭奠，却遭到堂兄高捷的一阵斥责：“你身居相位，致使朝中弹章交劾，有何面目来见父祖？”满脸羞惭的高拱无言以答。
张居正执掌大权，徐府的境遇无意中得到改善，追随高拱鞍前马后的韩楫、宋之韩、王元宾辈，不仅没捞到任何政治资本，反倒露出鹰犬的面目，自惭形秽，从此偃旗息鼓。至于应天巡抚、巡按，苏松知府等各级官员，也不敢轻易骚扰，彼此相安无事。而徐阶本人，则已阅尽世情之冷暖，厌倦宦海之恶斗，再也不去关心朝中之事，只求“使获安寝，饱食于山林，即至幸矣”。
在教育子孙严禁张扬骄奢等种种邪心之余，徐阶的踪迹出没佘山慧日寺、广富林知也寺、东门外的修身庵，与圆宝和尚、小知也、四空品茗参禅，诗棋相娱，颇为自得。
万历二年（公元1574年），长房长孙徐元春赴京应试中了进士，举家大喜，但徐阶处之泰然。松江府、华亭县皆欲前来贺喜，徐阶一概谢拒：“劣孙侥幸得中，不敢劳动父母官玉趾；尤不当启劣孙骄奢之心。敬祈谅鉴！敬祈谅鉴！”遭难时为数不多的雪中送炭的亲朋、避之犹恐不及的亲朋，都一齐拥来致贺，徐阶开门延客，待以酒食，贺礼一概拒却。赴京以后，徐元春授任刑部，徐阶忧心忡忡，似乎从孙儿的身上看到了自己的影子，自己如此倾心为国，致仕后连遭大难，宦海险恶，吉凶莫测。徐元春赴任前晚，老眼昏花的徐阶学自己的祖父，给孙子挥笔写了铭语三条：“毋躁进，毋上人，毋标榜立门户。”徐元春敬受，赴任后就将此三语置于座右，朝夕讽览，率循维谨”。
“
到了万历六年（公元1578年），高拱去世。同年正大刀阔斧推行改革的张居正的父亲去世，拟告假回籍守制，又恐继任者不良于事，致轰轰烈烈的改革大政搁浅，便修书一封，驰送恩师，有意请恩师出山，再任首辅。这是徐阶恢复名誉的极佳机遇，但徐阶厌倦了，复书婉拒。以致张居正不得不“夺情”，也就是因国事紧要而不返乡守孝，继续任职，留下恋栈的话柄。