时迟，那时快，早被龚遂拔出佩剑，手起刀落，项能恭的尊首，已与肩胛脱离关系。贺见了，也吓得大喊饶命。龚遂一面插入手中之剑，一面伏地大哭道：“陛下不改劣行，臣等死无葬身之处矣！”贺也惭愧不遑，不过事情一过，仍复荒唐如故。
大将军霍光，本是此次推戴最力的一个人，眼见贺如此荒淫无道，深以为忧，每与大司农田延年熟商善后办法。延年道：“将军身为柱石，既然失检于前，何不补救于后？只要入白太后，另选贤君，也不为晚。”霍光嗫嚅道：
“古来曾有此事否？”延年道：“从前伊尹相殷，尝放太甲至桐宫，藉安宗庙，后世称为圣人。今将军能行此事，就是汉朝的伊尹了！”霍光听了，乃擢延年为给事中；并与张安世秘密计议废立大事，其外并无一人得知此谋。
又过几日，贺梦见蝇矢满阶，多至五六石，有瓦覆着，醒来又问龚遂，主何吉凶。龚遂道：“陛下尝读过《诗经》，诗云：‘营营青蝇，止于樊。恺悌君子，毋信谗言！’今陛下嬖舤甚多，正拟蝇矢丛集，因此有这梦兆。臣愿陛下摈绝昌邑故臣，臣应首先告退！”贺听了，似信不信地道：“从前在昌邑时候，种种梦兆，君谓不佳，朕何以已为天子？大家既是赞成你的为人，朕也不便放你回家！立于朕身边的臣众，他们又不谈及国事，何必去理睬他们呢？”
说完之后，就把此事丢开。
次日，大仆张敞，也来进谏。贺以嬉笑出之。言尚未已，光禄大夫夏侯胜因来奏事，奏毕也谏道：“臣见久阴不雨，臣下必有异谋，陛下不可不防。”贺听了大怒，斥为妖言惑众，立命发交有司究办。有司告知霍光，霍光不禁暗暗起疑道：“夏侯胜语似有因，或由张安世泄谋，也未可知。”即把张安世召至，面加诘责。张安世道：“此是何事，我怎会与他言及秘密？可以面质！”霍光亲提夏侯胜研讯。夏侯胜从容笑道：“《洪范传》有言：‘皇极不守，现象常阴。下人且谋代上位。’我不便明言，故仅云臣下有谋。”霍光当下听了，不觉大惊；一面将夏侯胜官还原职，一面与张安世密议道：“此事不能缓了！”即命延年往商丞相杨敞。杨敞听了，顿时吓得面如土色，汗下似雨，不敢允诺。倒是杨敞妻子，为司马迁之女，颇有才干，搴帘而出，语延年道：“大将军遣君来商此事，乃是不弃我们，请即复报将军，我们准奉教令。”延年返告霍光。
霍光即令延年、安世二人，缮定奏牍，妥为安排。翌日，至未央宫，传召丞相、御史、列侯，及中二千石，大夫博士，一同入议，连那位不肯抗节重归故国的苏武，亦令与会。群僚不知何故，只得静听大将军发言。霍光一见大众均已到齐，便大声道：“昌邑王行迹昏庸，恐危社稷；诸君都是食禄的臣子，可有甚么高见？”大家听了，方知是这个大问题，每个人把眼睛望看霍光的那一张嘴，想听下文；心里呢，莫不存着但凭吩咐四字罢了。霍光一见众人不肯首先发言，又对众人道：“这是国家大事，应该取个公论。”当下田延年奋然起座，按剑上前说：“先帝以社稷托付将军，授以全权，无非深知将军忠心为国，能安刘氏。今群下鼎沸，譬诸大厦将倾，将军若不设法维持，试问有何面目见先帝于地下？”
霍光正要答语，徒见由宫内奔出一个****光身的宫女，向他扑地跪下道：“奴名苏馥，曾为先帝幸过。今皇帝不顾奴的节操，强行奸污。奴因一个弱女子，力不可抗，此刻乘隙逃出，禀知将军。奴死之后，没有脸去见先帝，乞将奴面蒙上一布，奴心方安。”说完，就用手中所藏的一把绣花小剪，向他喉中一刺，顷刻之间，飞出一股鲜红，死于殿上。
霍光一面急命左右，把苏馥的尸身拖下，好好安葬；一面对大众道：“即此一端，废之已有余。”大众一见延年接剑而走，声势汹汹；又见贺的行为果也不对，大家若不相从，必遭杀害，何苦要替贺来做死忠臣呢？于是个个离座向霍光叩着说道：“社稷人民，全系将军；大将军苟有主张，臣等无不遵从。”霍光乃将大众请起，袖中拿出奏牍，先请丞相杨敞署名，其余次第署毕，便引大众至长乐宫，入白太后，陈明昌邑王贺无道，不应嗣位的情形。可怜这位太后，年才十五，懂得甚事，自然是以霍光之言，惟命是从了。
霍光又请太后贺临未央宫，御承明殿，传诏昌邑故臣，不准擅入。那时贺闻太后驾到，不得不入殿朝谒。但因酒醉过甚，由宫娥搀扶而行，朝毕趋出，退至殿北温室中。霍光走来指挥门吏，速将室门关闭。贺张目问霍光道：“关门何为？”霍光跪答道：“太后有命，不准昌邑群臣入内。”贺摇头道：“这也不必如此急急，让朕慢慢地打发他们回去便了。”霍光也不与他多言，返身趋出。
此时已由张安世率领羽林兵，把昌邑群臣拿下，约有四五百人，连龚遂、王吉也在其数。霍光又将昭帝旧日群臣召入，责令把贺监守，毋令自尽，致负弑主恶名。贺真昏愦，到了此时，还没有知道废立情事。一见新来侍31臣，尚问道：“昌邑群臣，究犯何罪，却被大将军全行驱逐？”侍臣不便明言，只推不知。稍间，就有太后诏至，立传贺去问话。贺至此方才有些惶恐起来，问诏使道：“朕