父亲为他求娶叶氏，也是看中叶家的家世以及叶老夫人的教养。

可惜叶氏不得他欢心，成亲没几年他就喜欢上了王氏，将王氏迎为侧妃。

得知他过分宠爱王氏时，叶老夫人还曾经上门来训斥过他。

当时叶老夫人身上就是这般冷静沉肃，不卑不亢，不疾不徐，却说得他哑口无言。

他这才收敛性情，后来又与叶氏生了南烟。