最后又在太行山、武夷山、大别山、祁连山四道山脉中建立山寨，总共十二座，从神剑门、神拳门，以及原本镖局被取缔，被官府通缉的镖头、镖师们，都到这些山寨里面，很多拉家带口的，这十二寨人数最多，首领成为大寨主。

虽然名为“藏兵于匪”，这二十个地方却少干抢劫的事，除非接到卫骁的指示，要他们抢劫哪里，他们才会出动。

五湖帮众主要以打鱼为生，十二寨则出产各种山货，两边也搞烧酒、木材、药材、家