徐阶隐忍的态度,使严嵩慢慢地放松了警惕。徐阶青词写得非常好,于是在不上朝的时候,嘉靖皇帝就会经常召他进宫和他单独谈话。而徐阶就利用这个机会,经常不露痕迹地说严嵩的不是,时间久了,嘉靖皇帝不但不再宠信严嵩,反而多了一些厌恶。为了让严嵩彻底放松警惕,徐阶把自己的孙女嫁给严嵩的孙子,以联姻的方式增进两人之间的交情。而这个时期,一些反对严嵩的人也开始弹劾他,但是都被严嵩父子压了下来,其中很多人都惨遭迫害。
在这时的朝廷中,不仅严嵩一手遮天,他的儿子严世蕃也开始卖弄财权。这时的严嵩已经年近七旬,却仍然要日夜侍奉在嘉靖皇帝身边,他逐渐感到力不从心,所以他将大部分事宜都交给了这个荒淫无耻的儿子,甚至私底下将全部的奏折交给儿子批复,然后才交给皇帝核查。而严世蕃比自己的父亲更会讨好嘉靖皇帝,因此嘉靖皇帝多次奖赏他。严世蕃得到嘉靖皇帝的赞赏后,严嵩更是大胆地把全部政务交给他。严世蕃的贪婪比严嵩更甚,严世蕃借着自己的权力,在选拔官员时不看能力和口碑,只注重官员的贿赂数额。同时,严世蕃还借用权力大肆搜刮民财,一时家里的财产竟可敌国。有记载说,有一天,严世蕃和妻子商量将所有的金银财产全部藏在地窖中,而这时严世蕃突然想起这些财产都是仰仗父亲严嵩才得来的,所以严世蕃就请严嵩前来观赏。严嵩看到这些财产后,顿时目瞪口呆,隐隐约约地感到家里将要出大祸。