征高句丽，授予阴世师西京留守，辅佐代王杨侑，镇守长安。

大业十三年，唐国公李渊于太原起兵，其时唯有李渊与此子李世民身在太原，长子李建成、三子李元吉以及庶子李智云皆在陇西老家。阴世师当即派人前去搜捕，李建成、李元吉二人逃到太原，却将李智云抛弃，结果十四岁的李智云被隋军捉拿押往长安，阴世师下令斩首。

如此，阴世师依旧不肯罢休，下令“发其坟墓，毁其五庙”，毁掉