在自己众多的夫人当中，唐寅未必最喜欢肖香，但在自己的子女当中，唐寅最喜欢的始终都是唐玉，也只有唐玉是最像他的，无论是外表还是头脑。

只可惜唐玉对灵武兴趣不大，他好文远胜好武，当然，在这一点上唐寅也不强求他，而且唐寅也希望唐玉能多学些治国安邦的本领。

在唐玉十岁的时候，唐寅曾把自己的子女们都叫到一起，询问他们在当朝的大臣当中，何人最堪当重用但不足信，何人又可信但不足以重用。