这也是他最担心、最顾忌的事情之一，在兵败以前都有这种顾虑。他一直怕不听朝廷令，不出关作战的行为又被朝中一些人指责并定罪，落个与封常清和高仙芝一样的下场。

他知道，宰相杨国忠一直想对付他，令杜乾运屯兵在灞上也是提防他的，他手下将领王思礼、庞忠等早就劝他采取办法，诱杀杨国忠，以除后患，但被他以这种行为等同于安禄山的叛乱为由拒绝了。

如今兵败，杨国忠更有理由对付他，甚至置他于死