是阳武人氏，他自幼就非常喜欢图书、乐律及历法。战国末期，张苍曾在荀子门下学习，与李斯、韩非等人乃是同门师兄弟。

秦始皇统一天下之后，张苍担任了御史一职，掌管宫中的各种文书档案。

及至后来，张苍因为犯罪便逃跑回家了。等到刘邦起义，攻城略地经过阳武的时候，张苍就以宾客的身份跟随高祖攻打南阳。

燕王臧荼谋反的时候，高祖带兵前去攻打，张苍以代国相国的身份跟随高祖征讨臧荼，因功