随末天下大乱，托塔天王李靖下界出生于官宦之家，隋将韩擒虎的外甥。祖父李崇义曾任殷州刺史，封永康公；父李诠仕隋，官至赵郡太守。李靖长得仪表魁伟，由于受家庭的熏陶，从小就有“文武才略”，又颇有进取之心，曾对父亲说：“大丈夫如果遇到圣明的君主和时代，应当建立功业求取富贵，何必做一个读书人。”他的舅父韩擒虎是隋朝名将，每次与他谈论兵事，无不拍手称绝，并抚摩着他说：“可与之讨论孙吴（孙武、吴起）之术