。景城百姓一千余人为他请命，窦建德于是任命他为治书侍御史和黄门侍郎。唐朝平定窦建德后，张玄素成为唐朝官吏。李二陛下闻其清名，特召见垂询政事。他建议李二陛下吸取历史成败经验，受到太宗的重用。

此君比之铁口直谏的魏徵，豪不落下风。

最牛的一次，李二陛下下诏修洛阳宫，以备巡奉。张玄素闻讯上书谏奏，他说“阿房成，秦人散；章华就，楚众离；及乾阳毕功，隋人解体。”

经过隋末大乱的