严嵩的智慧，表现在能揣摩嘉靖的心思；严世蕃的高明，在于善解嘉靖的哑谜，父子协同，一直把嘉靖侍候得极其舒服。
可是从嘉靖四十年（公元1561年）始，嘉靖渐渐不满意了，而且越来越不满意。
这大丞相、小丞相作恶多端，卖官鬻爵，贪赃枉法，不用说朝廷官员，就是嘉靖的儿子，他也敢欺。裕王府每年费用，严嵩嘱户部扣住不发。裕王府财政困窘，实在无法，裕王只得向严府行贿五百金，这才发给。严世蕃曾大言不惭：“天子的儿子也得向我行贿，谁敢不向我送钱？”
贪几个钱，嘉靖不在乎。所以凡有弹劾，都不放在心上，始终护着严嵩。因为严嵩的主要精力，是赞玄修，帮助嘉靖斋天，追求长生不老，这是嘉靖的最爱。
但是狂傲不允许。夏言傲，嘉靖就不喜。
不孝不允许。圣朝以孝治天下。
纵淫不许，天下美女应供我嘉靖**，旁人不许。
严嵩、严世蕃开始走下坡路了。
严嵩写的青词越来越差。因为内监催要，严世蕃又纸醉金迷，常昏昏大睡，严嵩只得亲自操刀，耄耋之年，精力不济，无法使嘉靖满意了。哑谜般的手谕，也因找不见严世蕃，严嵩只能拖着，嘉靖焦躁不满了。
在这种情况下，嘉靖又增添了一位内阁成员户部尚书袁炜。此人是徐阶的门生，善写青词。从嘉靖四十年（公元1561年）始，内阁由严嵩、徐阶、袁炜组成。
嘉靖四十年（公元1561年）十一月，嘉靖所居西苑永寿宫一把火烧了个精光。内宫不敢住，永寿宫又被毁，嘉靖只得暂住玉熙宫。玉熙宫又窄又小如何住得？工部尚书雷礼上奏请重建永寿宫，嘉靖找来严嵩、徐阶商议此事。
“公卿大臣皆请朕还居大内，雷爱卿建言重建永寿宫，你们认为如何是好？”嘉靖脸色阴沉，还居大内令他想起宫婢杨金英等弑君之事，能有好心情吗？徐阶不开口，等首辅先说。这一次，严嵩昏了头了。他说：“回陛下，臣以为，皇上可迁居南城。”嘉靖心头小鹿一撞，心里骂“该死”，脸色愈发的难看了。
徐阶察言观色，知道嘉靖真的动怒了。为什么一听南城，嘉靖就不舒服呢？这里头有个掌故。因为南城是英宗退位软禁之地。明英宗正统十四年（公元1449年）七月，西部边境蒙古族瓦剌部也先犯边。明英宗在庸臣王振的唆使下御驾亲征，王振庸劣之才，一意孤行，致明军在土木堡大败，明英宗也成了俘虏。也先以明英宗为“奇货”，要挟大明，明朝采取对策，拥立明英宗之弟郕王监国。第二年，郕王登上皇位，定年号景泰。嗣后明英宗回归，就被景泰帝安置在南城。
嘉靖信奉道教，热衷于斋醮，迷信祥瑞，所以严嵩南城之说，犯了嘉靖的大忌。
“徐爱卿可有话说？”见嘉靖问到自己，徐阶犯难了。南城之议固然不妥，但从常理来说，理应劝嘉靖还居大内乾清宫，这是正经。皇帝不居乾清宫而居西苑，名不正言不顺，九卿的请求正合徐阶的心意，但嘉靖肯定不会接受。那就只有一个办法，重修永寿宫。想好之后，徐阶道：“臣以为应亟治永寿宫。“”回陛下，不用征集”大木、石材，急切难办。“
建材，眼下工部正重修三大殿，征得木材绰绰有余，利用现成材料，不消数月，必能大功告成。”嘉靖闻言，脸色由阴转晴，露出了笑容。永寿宫是他斋醮，与上天神仙沟通之地，嘉靖与它已有了感情，如能重修并近期完成，正是他最好的选择。当下采纳徐阶的建议，命工部选个黄道吉日即刻动工，同时又命徐阶之子徐璠为工部主事，负责督工。