蔡图的出身可不简单，他出身于荆州世家蔡家，虽然只是旁支，而且还是庶子，但是他从小好学，以读书出人头地，二十三岁被族中举孝廉而出仕途，二十五岁被江夏都尉秦颉征辟为掾吏。

南阳黄巾乱起，郡守褚贡被张曼成斩杀，秦颉临危受命，上任南阳郡守的位置，率兵与张曼成，蔡图负责从舞阴，泌阳两座县城招揽青壮，上任舞阴县令。

张曼成败了很快，但是秦颉在风口浪尖之中也没有能保存下来，终究死在了江夏兵造