摘星楼三四楼之间并没有完全的隔开，中间很大一部分是上下贯通的，中央有一座将近两丈方圆的雅阁立下顶上，既可以作为承重，又能在其中做清谈论玄或是歌舞雅赏，这样上下两层的宾客便都能欣赏到。

眼下在这三四楼层之间，聚集了园中近半的宾客，相对而言，三楼要比四楼上的宾客多了一倍有余。园中对此倒也没有刻意的安排，但是时人的交际就有那种无形的圈子和规矩，楼上人少有将楼下强请上楼，而楼下的也不会冒