各卫大将军直接向皇帝负责，不受任何部门管辖。

剩下的“南衙十卫”驻扎在长安城周围，分别设置了骊山、南山、灞桥、咸阳四座大营，驻扎着左右卫、左右骁卫、左右武卫、左右威卫、左右领军卫等十卫，每卫兵力八千至一万不等，使得拱卫长安的京军兵力达到了二十万左右。

除了京军之外，唐军目前还设置了四大都护府，根据防御方向的不同，配备了不同的兵力。