继畬则稀里糊涂的被贬为了正四品太仆寺少卿。然后又被站在林则徐一边的御史言官秋后算帐，连四品闲职都没能保住，直接被撵回了五台山老家种地。

如果说和林则徐的事只是官场经验让徐继畬嗅到了危险味道的话，那么太平军打进山西时徐继畬的反应就完全是直觉了，当时李开芳和吉文元带着太平军围攻怀庆府多日不下，胜保率领的清军追兵又从东、西、北方向包围了太平军，山西官员无不认定本省可以高枕无忧，惟有徐继畬凭借直