无不可，难道还吝惜一侍中吗？”裴炎听后报告了武则天，武则天对中宗的举动大为恼火。二月，继皇帝位才三十六天的李显被武则天废为庐陵王，贬出长安……

李显先后被软禁于均州、房州十四年，只有妃子韦氏陪伴，两人相依为命，尝尽了人世的艰难。每当听说武则天派使臣前来，在房陵忐忑度日，一度惶恐异常想要自杀，韦氏劝慰他说：“祸福倚伏，这是没有常理的，人哪能没有死呢，何必现在就去。”