界首位于古陈州、颍州的交界处，中有大沟分界，故名界沟。
宋时曾在界沟设驿站，是开封通往建邺、临安的必经之地，颍州太守欧阳修在与张职方的信中有过界沟的记载。
元忽必烈至元12年，改称界沟站。明朝曾设界沟关，查缉盐货。后繁茂成集市，故名之为界首集。
抗战时期，界首由于交通闭塞，未受日军侵犯，上海、南京等城市商人纷纷迁往界首，一度人口剧增，商贾云集，贸易兴旺，故有“小上海”之美誉。
1939年城区西北部发展为皂庙镇，属河南省沈丘县，与界首镇（属太和县）、刘兴镇（属临泉县）鼎立为界首三镇。1947年10月，界首、刘兴、皂庙3镇合并建立界首市政府。
1953年9月，界首撤市建县，划临泉县的洪庄、砖集、陶庙3区，太和县的光武区和税黄区的西部为界首县辖地。隶属安徽省阜阳专区。
1988年8月17日，撤销界首县，设立界首市。
