而韩当见到霍峻将刘磐就走后一路派大军追赶，一直追到攸县城下。韩当随后命令士兵立即攻城，一千五百兵马根本不足以挡住韩当大军的攻城，关键时刻霍峻说动城内十余个家族的支持，他们都愿意派出私兵帮助霍峻守城，随后霍峻又发动百姓和私兵一起凑够两千人，与原本的一千五百人共同防守才坚持了下来，但即使是这样伤亡还是很大，最多只能坚持三天。

而韩当则是昼夜不停地命令士兵攻城，江东以万大军能休息而攸县的几千人