来齐王府，不同于帝京城中的寻常王府，这是一座藩王府邸。要知道藩王府邸常常不能以常理而论之，有些时候，为了节省财政支出，干脆就是以前朝皇宫改建而来，占地规模极大。比如说齐王府，虽然不是由皇宫改建而来，但其前身却是一座名副其实的王宫，又经过历代齐王的扩建，论规模更胜不包括至圣庙的圣人府邸，否则也不能容纳三千门客。

这座齐王府本是地师徐无鬼所有，徐无鬼离世之后，要么被朝廷收回，要么由上官莞继承