徐阶力主放宽言论，言官们都很兴奋，此次一个说要予重罪，一个说应削职为民，不是又倒退了？言官大哗，抨击高拱泄私愤。见高拱、郭朴愤愤不平，不得已，徐阶来了个折衷，调胡应嘉为建宁（今属福建）府推官。
徐阶用心良苦，但高拱、郭朴认为罚轻了，愈加仇恨徐阶，而朝中言官们，同样不满意，不是推行放宽言论的新政吗？出尔反尔！
这就不得不说一说这位高拱，客观地说，这是一个半神半魔的人物。对高拱的评价有人说他有才能，能施政，有政绩；也有人说他专横暴戾，气量褊狭，刚愎自用。贬褒不一，众说纷纭。
徐阶引进了他，他想拱走徐阶不成，只能自己走人；后来张居正又引他入阁，他又与张居正水火不容，最后被逐出内阁。内阁分裂，这就给朝臣中的小人制造了窜升的机会，他们像赌徒下注一样，押准了不就飞黄腾达了？
果然有这类人，而且不止一个。
广东道御史齐康跳了出来，此人是永年人（今属河北省），考取举人，高拱是主考，嘉靖四十一年（公元1562年）中进士。齐康弹劾徐阶至关要紧的罪状是嘉靖要立太子，徐阶一直阻拦，先帝想传位当今皇上，徐阶又横加阻拦。齐康列举的罪状非常离奇，其目的就是引起新君的愤怒，罢黜或处死徐阶，而藏在深处的动机则是，高拱是新君的讲师，新君必褊袒高拱，高拱当首辅，自己必高升。
但也因为“罪状”太离奇，没人信，众多言官群起而攻之，围在朝门大骂高拱唆使门生陷害首辅。高拱受不了，请求罢职。
徐阶本有器量，处处避高拱锋芒，维持大局，但如此不堪的诬陷，就在严嵩主持内阁时也不曾有过，他愤怒至极，立即撰写《被论自陈》疏，要求罢职。
他在疏中说：其他罪状不足辩，至于册立太子一事，臣任礼部尚“书，曾四次奏请先帝册立太子，先帝不予理会。至于传位一事，则臣恐怕引起更大的风波，确实不敢赞同。四十三年十二月十三日、十二月十六日，两次奉先帝询问，臣恳切地为先帝陈述皇上（指新君朱载垕）贤明孝顺，先帝询问的圣谕，臣奏请册立的奏章都已归档可查。请将臣并臣男璠削职夺官，放还田里。”徐阶终于撂担子了。
徐阶撂担子，不是作秀，确实出于内心。应付严嵩十几年，耗尽心智，而今高拱内斗的手段比严嵩更卑劣。由于内阁分裂，大臣们又渐成两派，又开始恶斗，当年张璁攻击首辅杨廷和时朝廷两派恶斗的场面又将出现。徐阶不免苦笑，大明政局的走势，怎么过了三十年，又拐到原处？
这一次风暴，以朱载垕允准高拱离职，“去政还乡调治（疾病）”，齐康降两级调地方而平息。
在此情况下，徐阶连上《三乞休》、《四乞休》两道本章，去意坚决。
然而满朝文武挽留，新君又连下两道圣旨，“希望体会朕的诚意，继续赞辅，慎毋固辞” 。
身不由己的徐阶无法选择，于隆庆元年（公元1567年）四月底，复任首辅。复出之后，平反了前蓟辽总督王忬、总督胡宗宪两宗冤案。
日历翻到了隆庆二年（公元1568年），高拱去职，郭朴心中不安，也请求还乡获准，内阁连去两人，只剩四位，排位是徐阶（首辅）、李春芳（次辅）、陈以勤（少傅兼太子太傅）、张居正（少保兼太子太保）。
徐阶虽然出任首辅，但对首辅的职位已经兴味索然了。他感到沮丧，高拱的蛮横不可理喻，齐康的无耻丑态毕露，都令他厌恶。而自己再三乞请增内阁成员以图共襄朝政，内阁成员却勾心斗角；努力创建宽松的舆论环境，言官中却又开始了群殴。自己雄心勃勃开一代新政，结果是乱纷纷一片。
自然，对策也是有的，他尽可利用首辅的权力和朝中多数大臣的拥戴让对手万劫不复，就像张璁对待廷臣，严嵩对政敌采取的**消灭手段一样。但他不是张璁，不是严嵩。他崇尚的是阳明心学，要“致良知”，下流手段不屑一顾；他家世代崇佛，慈悲为怀的精神也深入骨髓。入阁十几年，总是力图保护正直大臣；担任首辅五年多来，也从未动刀杀过大臣，严世蕃案例外，怎么能大开杀戒？连廷杖也没发生过一次。尤其是当他想起自己的前任，杨廷和把先帝扶上皇位，结果是罢归，斥为民；杨一清又怎样，被冤致仕，怨气冲天而死；夏言呢，掉了脑袋；翟銮，斥为民；严嵩自然不必说……想到这些，徐阶不寒而栗，还是祖父说得对，“保我族类”；还是可久说得对，自身安危都没保障怎能励精图治？当年杨廷和将自己留作种子，而今自己也留下了张居正这颗种子，可以退了，不如归去。
由于徐阶压抑宦官参政，得罪了隆庆身边的宦官，引起“中官侧目”。隆庆贪玩巡幸南海子，徐阶谏阻，不听。再加上给事中张齐又来了个弹劾，徐阶奋然求去，连上九道奏章“乞休”，终于获准。二十岁出仕，四十五年后，徐阶又回到了生他养他的故乡。