没有着落，就卖掉大住宅，买了小住宅安顿妹妹，并把剩下的钱分给母亲和妹妹，自己轻装上路。

可当时因为隋炀帝对高士廉极其不满，便导致朝中臣僚捧红踩黑对高士廉一系打压排挤，鲜于氏便是在这种举步维艰的局面之中以一个女流之辈苦苦支撑，赡养老母，教育孩儿。

彼时父亲去世之后被异母兄长孙安业赶出家门的长孙无忌，便与母亲、妹妹文德皇后长孙氏一同住在高府，甚是受到鲜于氏的恩惠，文德皇后亦一直将鲜