他的统率下，这支精锐部队又给人戏称为“吕家军”，因为这支军队的将领主要是他的亲戚朋友，他的弟弟吕文焕，吕文信，吕文福，同乡夏贵，女婿范文虎，儿子吕师夔。这些人要么以军功得到升迁，要么阿谀贾似道而获得高位，一时间，吕氏一门成了南宋的望族，一门公侯，位极人臣。

与文天祥，陆秀夫合称“宋末三杰”的张世杰也曾是他的部下。

伯颜和阿剌罕一边远走，一边说事，来到营门口，只见士卒个个刀出鞘，