名在朝堂之中不显，但是在贞观三年之前，却是声名赫赫。其祖上来自与安息国的栗特人贵族，世代居于武威，其父安兴贵在高祖李渊之时评定李轨有功，其后更于凉州大破突厥，“累拜上柱国、右武侯大将军，封凉国公，赐帛万段，实封六百户”。

安家根基深厚、雄霸一方，是名副其实的西凉王。

高祖李渊诸子之中，安兴贵独看好秦王，在安元寿十六岁时便被其父送入秦王府担任右库直，负责守卫、陪从、鞍马事宜。武德