江淮盗匪、军纪败坏，平定侯景之乱的战事中又论功称为第一，王琳共其部众们自然更加的嚣张狂妄，在建康城中横行不法、凶残暴虐，就连王僧辩都难能禁止。

因为王琳过于放肆，王僧辩索性便向江陵奏请诛之。而湘东王终究还是不舍这一门下骁将，又恐王僧辩趁机加害，于是便着令将王琳召回江陵。

王琳之前因功受封湘州刺史，此番率部离开建康，先命其长史陆纳引部前往湘州，而他自己则前往江陵请罪。