帝已经下令，如果在桂林的向荣不肯带兵，那就发配去新疆充军。向荣只得动身来到长沙。虽然顶了个总指挥的名头，向荣却在湘江以西作战。11月初，向荣在牛头洲与翼王石达开来了一次会战，结果向荣遇伏，3000部下几乎全军覆没。向荣仅靠“良马”方得以逃脱。自此，太平军靠在湘江上架设的两座浮桥自由行动，清军困守城池与营地，根本不敢出动。

到了11月20日，杨秀清命令韦泽到城南大营商量军务。此次来的人不多