皇帝看重，时而命他伴驾出巡。因其爱抽烟，同僚们都叫他纪大烟袋。

然而纪昀不知哪根筋搭错了，以为自己深得皇帝宠信，便也学那杭世骏找了个机会谏说皇帝当罢出巡。说什么历次出巡、用兵已使天下财力耗尽，故而当停巡止兵，以养国力民力什么的。

没想到皇帝当场便喝骂于他，道“朕以汝文学尚优，故使领四库书馆，实不过娼优蓄之，汝何敢妄谈国事！”

意思是朕不过是因为你纪昀有才华故留你在身边