不过杨坚的话说早了，很快被自己打脸。
杨勇两度出镇山东，又与宰相高颎缔结姻亲，因此与山东集团关系十分密切。
借助高颎、李德林等山东集团的支持，杨勇在朝中的权势越来越大。一年冬至，杨坚发现杨勇在东宫像皇帝一样迎接百官朝贺，顿感心惊，怀疑太子欲收天下之望，芥蒂就此埋下。
杨坚于是下令整编卫队，把东宫宿卫队中骁勇之士全部撤掉。高颎提醒杨坚说，这样搞恐怕“东宫宿卫太劣”。杨坚对此又感到心惊，因为高颎是杨勇的儿女亲家，如此袒护杨勇，将来不知道会搞出什么事来，于是开始防备高颎。
与此同时，杨勇也失爱于母亲独孤皇后。
独孤皇后不是一般的皇后，她与杨坚合称“二圣”，对朝局有相当的控制力。
可惜长子杨勇是个直肠子，没有那么多心眼，他的正妻是元妃，独孤皇后对她特别喜爱。可杨勇还有一个爱妾为云氏。杨勇宠爱云氏冷落元妃，最后元妃郁郁而终。独孤皇后知道这件事情后十分恼怒。她怀疑元妃是被杨勇害死的，于是严厉责骂杨勇。
就在杨勇处处招惹父母不满时，他的弟弟杨广开始了影帝级别的表演。
父亲喜欢节俭，杨广便把琴弦弄断，故意不清洗，让父皇以为他不好声色；母亲厌恶男人纳妾，杨广就经常与萧后秀恩爱，让母亲认为他们心中只存在彼此没有外人，杨广总共有三个儿子，两个为萧后所生，其他姬妾生了孩子杨广都不养育，怕消息传出去母后说他用情不专。萧后作为晋王妃，也极力讨好婆婆，每次婆婆派奴婢到府里，萧后不敢有丝毫怠慢，她放下身份跟婢女一起吃饭。独孤皇后对文帝的影响很大，能争取到她的支持，在争夺储位时就具备了优势。
杨广一面在父母面前装孝顺，扮朴素，骗得贤孝之名；一面收买权臣杨素散播谣言，说杨勇求神占卜，盼望皇上早死。搞得杨坚防太子如防大敌，终于在开皇二十年(600)废杨勇为庶人，改立杨广为太子。
杨勇被指定由杨广管制，他屡次要求面见文帝，但都被杨广拦下。
杨勇情急之下爬到树上大声呼喊隋文帝，希望父亲听到后可以见他一面。
杨素趁机向隋文帝进谗说：“杨勇心神丧失，被妖魔附身，魂都收不回来了。”
结果杨坚听到杨勇的呼喊，只当他是一个疯子。
独孤皇后天性奇妒。杨坚宫中虽有无数的宫妃彩女，可他只能看看而已，