李亨都颇觉威胁，为求开脱与自保，他先后同韦坚之妹、太子妃韦氏和柳勣之妻妹、太子良娣杜氏离了婚。残酷的政治斗争，使李亨未老衰，他与宰相集团之间矛盾之尖锐，可见一斑。李林甫之后继任的宰相杨国忠对待李亨的态度无丝毫改变。事实上，李林甫在位时数务构陷太子都有他积极参与，据《旧唐书》卷106本传载：

时李林甫将不利于皇太子。掎摭阴事以倾之，……以国忠怙宠敢言，援之为党，……自是连岁大狱。追捕挤