Jusqu'au XIVe siècle av. J.-C., la Tunisie est habitée par le peuple des Capsiens. D'ailleurs, Gafsa (qui tire son nom des Capsiens) abrite le site préhistorique de Capsa qui donne son nom à une famille de l'homo sapiens (voir la culture capsienne). En effet, des ossements et des traces d'activité humaine remontant à plus de 15 000 ans sont découverts dans cette région. Les plus anciens groupements humains en Afrique du Nord se situent principalement à Gafsa et dans la région d'Oran. Les Capsiens sont alors les plus avancés à l'échelle planétaire, à la période paléontologique, car, en plus de la fabrication d'outils en pierre et couteaux en silex, on note surtout la fabrication, à partir d'ossements, de divers objets et surtout d'aiguilles pour coudre des vêtements à partir de peaux d'animaux.

Au XIVe siècle av. J.-C., les Phéniciens fondent Utique. Pendant l'Antiquité, les Romains occupent Capsa au IIe siècle av. J.-C.. La ville se développe alors au point de devenir une municipe puis une colonie. En 540, les Byzantins la protègent d'un rempart et la rebaptisent Justiniana. Oqba Ibn Nafaa prend la ville en 688 mais rencontre une résistance farouche car les Berbères refusent longtemps de se convertir à l'islam. Au XIIe siècle, on parle encore latin à Gafsa. Puis, en 1551, la ville est assiégée par le corsaire Dragut pour le compte de Khayr ad-Din Barberousse. Elle résiste mais est obligée de capituler en 1556.

Durant la Seconde Guerre mondiale, en 1942 et 1943, la cité subit plusieurs bombardements allemands et une partie de la kasbah est détruite. Gafsa est le théâtre d'une bataille historique, opposant la 10e division de panzers et les forces alliées, connue sous le nom de bataille d'El Guettar. En 1980, la ville est prise d'assaut par un commando venu de Libye (voir l'article sur les événements de Gafsa).