也觉得这样赌气对自己没好处，于是他听取了向朗的建议，不追张郃了，回兵围攻益阳。益阳只有两千人，张郃如果不回援，那么益阳可取，张郃也就成了无根之木。他如果回援，就正中张飞下怀，可以击杀于益阳城下。

事情正如向朗所建议的，当张飞带着一万多大军来到益阳城下的时候，张郃不敢再托大了，他也带着人回了城帮助黄忠守城。但张郃远比向朗和张飞所想的高明，他没有把所有的人都带回城，而是把张雄和殷文留在了城外