霍后既为刘家媳妇，自然不能推翻旧例，每逢朝谒太后的时候，太后必离位旁立，口称免礼。太后这个举动，明是因为霍后是他嫡嫡亲亲的姨母，特别客气几分。其实这层麻烦，第一要怪霍显只知后位，不顾纲常；第二要怪霍光身为朝廷柱石，怎好徇儿女私情，不问辈份大小就是宣帝贸然承诺，也属非是。事既木已成舟，上官太后行这似是而非的礼节，真是贻笑大方。当时盈廷臣工，尚夸太后知礼，这是拍马论调，更是狗而屁之的了。
是年丞相蔡义病逝，进大鸿胪韦贤为丞相，封扶阳侯大司农魏相为御史大夫，升颍川太守赵广汉为京兆尹。
又因各处地震，山崩水溢，北海、琅琊，毁壤宗庙，种种兆征，似示不祥。宣帝特地素服避殿，大赦天下，诏求经术专家，以及贤良方正之人。夏侯胜、黄霸二人，因得出狱。夏侯胜并受命为谏大夫，黄霸出任扬州刺史。那时夏侯胜年已垂老，有时入对，或误称宣帝为君，或误称他人表字。宣帝倒不计较，赞他朴实，颇为亲信，并且呼之为先生，旋迁为太子太傅，年至九十余岁，无病而终。上官太后嘉他忠直，赐钱二百万缗。斋戒五日。宣帝亦赐茔地，陪葬昭帝的墓旁。西汉经生，生茔死哀，要算夏侯胜为第一了。宣帝于本始四年冬季，议定改元，次年元旦，即号为地节元年。朝政清闲。国家无事。及至地节二年春三月，霍光忽得重病，不到几天，溘然长逝。宣帝念他前劳。恤典隆重，并拜其子霍禹为右将军，嗣爵博陵侯，食邑如旧。又命张安世为大司马大将军，继任霍光之位。
霍光既死，霍显更是没缠之马，骄奢不法，任性妄为。又与俊朴冯殷私通，不顾人言。冯殷素来狡慧，与王子方二人，同为霍氏家奴。子方面貌不及冯殷姣好，因此人称冯殷为子都。霍禹、霍山，也学了霍显的坏样，淫纵无度。霍云正在少年，整日不办公事，只是携带家丁门客，问柳寻花，东闯西撞。还有霍禹的姊妹，仗着母家声势，任意出入太后皇后两宫。物必自腐，然后虫生；于是恼了一位御史大夫魏相，密上一本参折，还恐此折被霍禹抹然不报，乃托许广汉亲自面递宣帝。
宣帝接来一看，只见上面写的是
臣闻春秋讥世卿，恶宋三世为大夫，及鲁季孙之专权，皆足危乱国家。自微元以来，禄去王室，政由冢宰。今大将军霍光已殁，子禹复为右将军，兄孙山，亦入秉枢机；昆弟诸婿，各据权势，分任兵官。
夫人显及诸女，皆通藉长信官，或夤夜呼门出入。骄奢放纵，恐渐不制。宜有以损夺其权，破散阴谋，以固万世之基，全功臣之世，国家幸甚臣等幸甚
宣帝看完此折，长叹道“霍氏不法，朕已深知。一则因念霍光前功，二则须看太后面上，所以暂时姑容。现既弄得天怒人怨，朕也不敢以私废公了。”
宣帝说完，转折一想，且一面先任魏相兼领给事中，凡有封事，准其径奏，不必先白霍氏；一面诏知霍显，命他赶紧管束子弟，毋得再有不法情事发现。宣帝此诏，也算得情理兼尽。
无如霍显贼胆心虚，生怕谋害许后旧案发作，便有灭族之祸；又因宣帝已立许后微时所生之子奭为皇太子，将来即了帝位，查出其事，必替亡母报仇。不如一不做，二不休，暗暗唆使霍后，趁皇太子尚在孩提时候，也用毒药害死，以绝后患。霍后奉了母命，自然照计行事。
不料宣帝早已