但是，东南沿海一带的倭寇日益嚣张。
嘉靖三十三年（公元1554年）正月，倭寇掠抢苏州、松江；二月，倭寇攻松江，县丞刘东阳战死；三月，倭寇又掠苏州、松江，入侵浙江宁波；四月，犯嘉兴，陷嘉善。总之，一年之内，倭患竟达十余次，仅浙江军民被倭寇残害的就达二十余万人，东南沿海告急。
东南沿海特别是浙江、苏州、松江乃朝廷税赋重地，东南沿海如果不保，朝廷财赋就受到威胁，这可是当务之急呀。嘉靖坐不住了，他知道严嵩拿不出什么计策，便召来徐阶问计：“倭贼蹂躏东南沿海，爱卿家乡也深受其害，朕知卿晓畅军事，是剿是和，计将安出？”
徐阶在县学读书时就亲闻家乡父老遭倭寇劫掠的惨状，自然痛恨之极，当下就说：“回陛下，东南诸郡乃国家财赋命脉所在，今蕞尔小丑竟成大患，危及国用。臣以为只有坚决征剿一法，姑息不得，更不可以安抚为名，纵其掳掠！”
徐阶对嘉靖的回话，语中留有伏笔，这伏笔就是杀机，自然是针对严嵩的。徐阶与严嵩并无个人私仇，但他强烈地感觉到，只要严嵩仍在首辅职位，这大明江山就无宁日。细观严嵩入阁以后，除了写青词，谄谀，捞取钱财，重用佞臣，陷害正人君子之外，于国家经济、军事，既无积极建言，又无尺寸之功，反倒是几次误国。俺答兵临北京，严嵩阻止出战；俺答饱掠撤兵，严嵩又阻追击，误国之罪，不可谓不大。对待东南沿海的倭寇，严嵩也毫无良策，相反，倒是从中干扰，致将帅被杀，尤为严重的是，他还重用义子赵文华，主张安抚，致倭贼更加猖獗。徐阶不想置严嵩于死地，却不得不努力把他拉下马来，免得他祸国殃民。而“不可以安抚为名，纵其掳掠”这句话，就是日后拉严嵩下马的伏笔。
倭寇从太祖洪武初就入扰中国，因当时明军强大善战，未酿成大祸。嗣后历代，倭患不息。嘉靖三十一年（公元1552年）时，剿倭重臣其一为右副都御史王忬巡抚福建，王忬重用参将俞大猷、汤克宽，屡建奇功；另一剿倭重臣乃南京兵部尚书张经，总督浙江福建及江南军务，也时有胜绩。可自从严嵩义子时任工部侍郎的赵文华插手，剿倭大局，就分崩离析了。
赵文华向嘉靖提议的剿倭大计说来可笑，竟是“祷祀东海之神镇之”。实在是把剿倭大计当儿戏，简直是见鬼了。但这见鬼的胡搞，竟深得一生中都在弄鬼的嘉靖的嘉许。严嵩大喜，便票拟让赵文华往江南祭东海，更兼“督察沿海军务”，于是，赵文华以钦差名义来到江南。在大发利市的同时，赵文华倾轧官吏，官民被扰，江南就此益无宁日。
赵文华奉旨祭海，又督察沿海军务，上头有严嵩罩着，一路上摆谱显威，做张做智，江南地方官员，想巴结严嵩的，无不千里迎送，大摆宴席，灯红酒绿，昏天黑地，然后一箱一箱的财物，扛上堂来。到一地，玩一地；走一路，卷一票，张狂得可以。凡不想巴结严嵩的，也不敢怠慢，只得忍气恭迎，设席言欢，最后，也不得不送上厚礼。敢顶的江南官员凤毛麟角，可见官场风气之一斑。
欺凌百官，公私告扰，还不算大害，他那大害却是不懂军事，偏要瞎指挥，就像他的义父害死御边大将曾铣一样，害死了一个总督沿海军务的张经。