前身则是余胜军时代的第二混成团，后续的第四师，再以第四师为核心组建了第四军。

这支部队在余胜军时代乃是最负盛名的一支部队，在徐言青的率领下，创造了一路奔袭数百里攻克镇江、威胁南京的壮举，在1856年年底，以第二混成团为核心，再加上第十混成团等部队组建的第四师在徐言青的率领下攻略浙江，在短短两个月不到的时间里就是攻克了浙江全境。

徐言青率领第四师占领浙江后，奠定了中华帝国的基础，