仅仅凭借他二人之势，不免会落人口实，霍光对于政治从来都是谨小慎微，他怕田延年的意见不合礼法，最终还是选择和其他两个重要大臣商量qu59· cc
其实，在大家的心目中，对于刘贺的胡作非为，都已经产生了不满，于是，众大臣一致决定要废掉这个无道昏君qu59· cc霍光和群臣一起去见太后，陈述废掉昌邑王刘贺的理由，太后也同意了众臣的意见qu59· cc于是只当了二十七天皇帝的昌邑王就被废黜了qu59· cc
他也是汉朝历史上唯一没有帝号的皇帝qu59· cc
后世统称其为汉废帝！
昌邑王既然被废黜，皇位又空了出来qu59· cc忠心辅政的霍光，日夜为此焦急不安qu59· cc光禄大夫丙吉上书给霍光，推荐寄存在民间的汉武帝的曾孙刘病已qu59· cc刘病已，后改名为刘询，字次卿qu59· cc戾太子（刘据）孙，史皇孙刘进子qu59· cc出生数月，即逢刘据巫蛊事件qu59· cc刘询被祖母史家所收养，一直居住在民间qu59· cc元平元年（公元前74年）昌邑王被废后，大臣中有人进言说，皇曾孙刘询有德有才，可接回宫中继承皇位qu59· cc霍光亦对刘询做了一段时间的考察，发现此人心怀仁慈、志向远大，遂携同大臣将他从民间迎入宫中，先封为阳武侯，将此事禀报皇太后，接着就把刘询接回宫中，拥立为皇帝，他就是有名的贤君汉宣帝qu59· cc汉宣帝于元平元年（公元前74年）七月即位，时年十八岁，第二年改年号为本始qu59· cc
被废的刘贺，此后的生活可谓潦倒不堪，霍光新拥立的汉宣帝刘询，在即位之后，心底到底有些忌惮，他害怕刘贺会不甘心，进而产生反叛的心思qu59· cc
于是，刘询在即位的第二年就让山阳太守张敞专门监察刘贺，此刻刘贺已经被软禁，张敞发现，刘贺终日沉迷酒色，早已经变得毫无斗志qu59· cc刘询知道刘贺从此难以成为自己的敌手，遂生出恻隐之心，没有伤害他的性命，而是打发刘贺回到山东昌邑国，过着被监视的日子qu59· cc而刘贺带去长安的两百多个官员除了三个正直的人，其他的都被斩首qu59· cc
元康二年（公元前64年），为防止刘贺死灰复燃，宣帝遂下诏给山阳太守张敞道：“谨备盗贼，察往来宾客qu59· cc毋下所赐书qu59· cc”
第二年，刘贺被贬斥为海昏侯，封地就在江西省永修县一带qu59· cc此时，他已经被解除了软禁，但皇帝和霍光却依然对其进行着秘密监督qu59·