霍沛然那一代便子嗣艰难，霍沛然兄弟三人，两个兄弟先后夭折，只余霍沛然一根独苗。霍沛然的发妻也只生下霍大娘子一个女儿，霍太太病故的第二年，霍沛然从外面抱回霍九，当亲生儿子一样疼爱，还把霍九的名字加到祖谱上，杭州城里的人都说，霍九十有八、九并非是捡来的，说不定他就是霍沛然瞒着发妻，在外面生的奸生子。”

“霍沛然在世时，霍家本家的亲戚们都要依仗二房，二房手指缝里漏一点，就够他们养家糊口，因此那