安铭和王氏一共育有二子一女，分别是二少爷安永松，五少爷安永林，六姑娘安云兰。

除了王氏，安铭还有一个良家出身的宠妾，娘家姓杨。

杨姨娘为安铭生了个龙凤胎，即三少爷安永桂，四姑娘安云芷。

安铭还有两个兄弟，二弟是庶出，三弟同母，这两位也都妻妾若干，生了一屋子的儿女。

永安伯府是开国元勋，最初是永安侯。

大齐朝是降级袭爵，现任永安伯已经是第五代