，他以部校的身份领兵随贾似道从临安出发前往芜湖御敌，大败。殷恂则循原路退至歙县，遂定居于县城南门。其后几代在地方上名望颇隆。但到了十世孙殷正茂时，殷氏家族已颇为寥落了。

嘉靖二十六年时，苦读群经多年、已经三十四岁的殷正茂，终于高中进士，这给业已衰落许久的殷氏家族带来了新的辉煌和希望。由于名次靠前，不久升为兵科给事中。