藐视的滋味，转而发愤图强，一咬牙到河西从军，很快显露出出色的军事天赋，短短几年时间，就做到了衙将，大斗军使。

王忠嗣遭谗被贬之后，哥舒翰为圣人所看重，先任陇右节度使，再知河西节度，在苦拔海、积石军屡胜吐蕃军，以至于吐蕃人谈哥舒色变，有《哥舒歌》曰：“北斗七星高，哥舒夜带刀。至今窥牧马，不敢过临洮。”足见哥舒翰在陇右的人望，此番攻打石堡城哥舒翰便是当然的领袖。