如此，鱼朝恩还处处给宰相们找碴，诸如水旱灾荒、物价上涨等事。王缙常常气得大怒，元载却跟没事人一样嬉皮笑脸。
鱼朝恩看到这种情况，说出了他这辈子最有水平的一句话：
怒者常情，笑者不可测也！
他的感觉没错。元载最大的爱好就是整人。之前唐代宗谋刺李辅国就有他的热情参与，现在他的眼光又盯紧了鱼朝恩。他表面上嬉笑自若，心里却咽不下这口鸟气。一个死太监，看我怎么弄死你！
不用元载劳神，机会很快来了。为了捞钱方便，有人给鱼朝恩出了个馊主意，就是在神策军中设置监狱，然后将那些富家大户弄进去敲诈钱财。人们畏惧鱼朝恩的权势，敢怒而不敢言，但世上没有不透风的墙，代宗的耳朵里隐隐约约地有了些传言。
这些传言里有一句话尤其让皇帝难于容忍。朝廷议事裁决时，有时候不需要鱼朝恩参加，鱼朝恩听说后怒道：天下事有不由我乎！
从这句大逆不道的话传到皇帝耳朵里那一刻起，鱼朝恩的好日子就开始进入倒计时了。
太监无法生育，但不妨碍他们传宗接代的热情，许多太监都有养子，如曹操父亲曹嵩就是东汉名监曹腾的养子。鱼朝恩发达后也养了个干儿子叫鱼令徽，年纪尚小官阶较低，只能穿绿色朝服。
小鱼年纪小，心气却不小，他觉得穿绿衣服太掉价太受气，回来就跟他的干爹撒娇。第二天一早老鱼就去见皇帝说：我儿子职位太低，请允许他穿紫服，佩金绶带，位次提高些。
皇帝还没有来得及回答，老鱼手一挥，相关部门便将提前准备好的紫色朝服捧到小鱼儿面前，当堂宽衣解带。代宗皇帝只好讪笑道：这孩子穿上这身衣服，真不赖！
皇帝眼中一闪而过的怨毒，被一旁的元载及时捕捉到了。退朝后他没回家，而是扭头找到代宗皇帝，热心地建议除掉鱼朝恩。代宗担心鱼朝恩手握禁军势力太大，弄不好会引火烧身，元载拍着胸脯保证：我办事您放心！
元载敢拍胸脯是有底气的。他早已重金收买了鱼朝恩的两大干将皇甫温、周皓。当时皇甫温领兵在外，周皓负责长安及皇宫的安全。元载下令将皇甫温换防到离长安最近的凤翔，鱼朝恩以为自己多了一层保险，孰不知这是元载安排用来接应周皓的外援。
安排好这一切，元载与唐代宗细化了行动方案，明确了各自分工。这天是寒食节，白天不动烟火，天黑后宫中宴饮群臣。宴会结束后，皇帝传令鱼朝恩进内殿议