(1853年),太平军攻克庐州,俘虏了安徽巡抚蒋文庆。咸丰诏谕工部左侍郎吕贤基前往安徽,办理团练防剿事宜。他随同侍郎吕贤基回籍办团练, 没等工部左侍郎吕贤基在安徽把团练兴办起来,韦泽就从庐州继续向北进军,很快控制了淮河以南的大片土地。随后就是太平军北伐,北方清军无力顾及安徽一带,最终派遣江忠源出任安徽巡抚。江忠源本人就是靠编练楚勇出身,有他当巡抚,组建团练的事情自然转由江忠源管理。