入枢密院职方司，诸州官民有违法乱纪者，也理应由刑部、大理寺、御史台及京兆府搜检弹劾，而不是由一个权力难以节制的密谍机构，将这些事都包过去。

倘若真要这么做，职方司、刑部、大理寺、御史台、京兆府这些正儿八经的大院司将会形同虚设，朝堂也会变得扭曲而怪异。

故而郑榆、郑畅、信昌侯李普、豫章郡王杨致堂乃至被救回金陵的溧阳侯杨恩等人，都认为缙云楼已经完成历史使命，没有再存在的必要。