元显为分刘牢之之权，趁孙恩反叛命谢琰为徐州刺史，统率半数北府军前往会稽，谢琰兵败身死，北府军实力大不如前。

等到桓玄率荆州军东进，刘牢之发现朝廷对他的忌惮，索性率北府军归降桓玄，结果桓玄立稳脚跟，首先对付的便是刘牢之以及他手中的北府军。

刘牢之身死，北府旧将被诛，这只名扬天下的强军已然被拆解的零散不堪。

幸亏刘裕在平定孙恩时崛起,成为北府军新一代领袖，才让这只雄师不至