名为伊吾卢归其管辖。东晋时归入敦煌管辖，为县制。南北朝时西凉人逃到伊吾归附柔然，在伊吾称王。

到北魏时，北魏军攻占伊吾，北魏在此正式设立了伊吾郡，这也是哈密最早的正式行政建置，不再是羁糜，而是直属中原朝廷的行政区。

此后，伊吾归属过中原，也归属过突厥、回鹘、吐蕃，后蒙古人崛起，他们又臣属蒙古。后来元朝将哈密力隶属于甘肃省。

元末，蒙古察合台后裔曾据哈密，称威武王。元亡