姚三寿是已入古稀的老人，他白发躬背，在孙女搀扶下，蹒跚走到玉芳阁后院。

花圃间隔前后两院，过垂花门来到后院。前方是花园凉亭，水塘园圃。而正中间是一座大堂，上有“三时堂”匾额。

堂门左右挂楹联：“桃红柳绿春光好，疾风晨雨秋色新”。左右耳房各一，一名“隆冬”，一名“暑夏”，是炎夏寒冬纳凉暖身的凉室暖屋。

正因建筑具备四时，且有三间，故名“三时堂”。