尤其是他们的曾祖父杨汪，更是位极人臣，被隋文帝赐爵平乡县伯，实邑二百户，历任尚书司勋兵部二曹侍郎、秦州总管长史、尚书左丞、荆州、洛州两州的长史。隋炀帝时期，杨汪荣任大理卿，由于判案准确无误、没有遗漏，故受到朝廷嘉奖，拜为国子祭酒，银青光禄大夫。

时人称“张衡以鲠正立名，杨汪以学业自许”，可见杨汪学养之深厚。

只是杨广死后，天下大乱，杨汪站错了位子，选择了中原霸主王世