同为辅政大臣，投靠他们的官员何止数百？二人虽然被霍光除掉，但是许多同党仍然藏匿在朝廷之中。这些人恨霍光入骨，无一日不想报复，霍光若是失了权柄，只怕杀身之祸立至，是以他虽然知道把持朝政风险极大，后患无穷，可是被形势所逼，既不容他独善其身，更不容他激流勇退，只能在朝廷上勉力支撑，不敢有丝毫马虎。

后来汉昭帝驾崩，因为他没有儿子，是以霍光与太后和朝廷重臣商议，决意迎立汉武帝的孙子、昌邑王刘贺继