开始还只是偷偷摸摸的小范围传播，后来看到大方师不跟他一般见识，归不归便直接添油加醋的见人就说，不管是真是假，甚至有些他自己的事情都按在了徐福的身上。终于，徐福被惹毛了，大方师将归不归踢出了方士的门墙。就这样归不归索性破罐子破摔，虽然出了方士的圈子，但是他也有大把的徒子徒孙孝敬。衣食不愁之余，他竟以败坏徐福的名声为终生职业，开始大规模的造谣散布不利于大方师名声的事情。

在这之后不久