他是萧景琰的外祖父，而萧景琰又是亲自动手杀了四皇子的人，因此林太尉和皇上，都恨不得活剐了萧景琰。只可惜萧景琰在谋反当日已经伏诛，皇上就算想拿他出气都没了机会，这样的情况下，皇上和林太尉很痛快地迁怒了萧景琰的倒霉外祖父。

淮阳王一案还未审结，林太尉就找人奏了徐尚书一本，皇上甚至连犹豫都没犹豫，直接将他从礼部尚书岗位上拉了下来，贬为从四品太中大夫，不仅降了级，