但是，作为皇位继承人选，杨勇是不够成熟的，他忘记了太子是威胁皇帝位置的人选之一，隋文帝喜欢猜忌，独孤后讨厌男人不忠于原配，隋文帝与独孤后都很节俭，杨勇不知道忌讳这些，常常惹得隋文帝夫妇不高兴。

杨勇喜欢奢侈品，他命人将自己的铠甲加上文饰，隋文帝看见后，训斥道：“从古至今，没有哪位皇帝因为喜欢奢侈而能够长久的，你作为储君，应该以节俭为宗旨，才能够奉承宗庙。”

到了冬至的时候，百官都到太子的东宫祝贺，隋文帝知道后，很不高兴，说道：“百官去拜谒太子，是否符合礼仪呢？”隋文帝下诏说道：“礼仪是有等级杂乱的，君臣是不可以杂乱的；朝廷大臣，冬至时到太子东宫朝贺，各地物产，作为贡品，送给东宫，这些事情不符合典制，应该全部断绝。”隋文帝开始猜忌杨勇，对他的恩宠开始衰减。

太子很喜欢女色，他的原配元氏受到独孤皇后的喜爱，但是不受杨勇喜爱，得了心病去世，杨勇宠爱的其他女人，为杨勇生了许多儿子，独孤皇后认为，那些低贱的女人所生的孩子，将来有机会继承皇帝的位置，而自己这样高贵的女子所生的儿子反倒有可能跪在他们面前称臣，独孤皇后心中很不舒服。

杨勇知道自己的弟弟杨广得到了权臣杨素等人的支持，自己的位置受到了威胁，心中十分担心害怕，可是不能想出什么办法，只好找人造了一些符咒，来压服别人；杨勇还在后园建了一些简陋的房屋，铺上粗糙的席子，在里面居住，希望能够获得隋文帝的喜欢。

杨坚派遣权臣杨素来看望杨勇，杨素老奸巨猾，杨勇衣冠整齐地等待杨素，杨素到了东宫之后，故意过了很长时间不去见杨勇，惹得杨勇很愤怒，杨素回去向杨坚汇报说：“太子有怨恨的心意，应该对他加以提防。”

隋文帝与独孤后都派人去监视杨勇，隋文帝命令将太子宫中健壮的卫士全部调走，晋王杨广贿赂太子宫中的臣子姬威，将窥探到的杨勇的动静，报告给杨广与杨素，杨广对姬威说道：“皇上决定废掉太子，如果你举报太子，将获得重赏。”姬威答应了。

姬威举报说：“太子说过，皇上将在开皇十八年去世，等他做了皇帝之后，将杀死一百个人来报复。”

隋文帝流着泪说道：“哪里有儿子这样诅咒父母的？”下令拘禁杨勇，将杨勇身边的几位辅佐官员捉拿，命令杨素审问杨勇。

姬威举报杨勇养了一千匹马，姬威说杨勇计划派兵马守住城门，饿死杨坚。当杨素追问杨勇养马的目的是否是准备造反时，杨勇反问道：“你家中养着数万匹战马，我作为太子，为什么不能养一千匹马呢？”

杨勇被软禁在东宫之后，他想见到隋文帝伸冤，始终没有机会，他爬上院子中的高树之上，大声朝着皇宫的方向呐喊，希望隋文帝能够听见自己的声音。杨素对杨坚说道;“杨勇的神经已经癫狂，不需要再见面。”隋文帝听信了杨素的话，父子再也没有见过面。