阜阳历史悠久，文化底蕴丰厚。在距今8000—6000年前的新石器时代早中期，阜阳境内有原始先民活动，留下了临泉王新庄、阜南台家寺、太和倪邱、颍东岳家湖等遗址。

相传夏禹治水成功之后，将天下分为九州，今阜阳属豫州之地，约公元前2179年，境内夔部落形成。武王克殷后，西周分封诸侯，境内设有胡子国（今阜阳城附近）、慎（今颍上县江口）等诸侯方国。

战国时期，阜阳的归属迭有反复，曾先后为宋、齐、楚等占据，后期则属楚所辖。楚国在此地设有胡（今阜阳市）、钜阳（今太和县原墙东北）、新郪（今太和县倪邱）、寝丘（今临泉县）、慎等5个县邑。

秦汉时期，阜阳境内设置汝阴（今阜阳市区）、寝县（今临泉县境内）、新阳（今界首市境内）3县，属陈郡。及至西汉，阜阳属豫州刺史部汝南郡，境内设鲖阳（今临泉县鲖城）、寝、慎、汝阴、富陂（今阜南县境内）、细阳（今太和县原墙）、新郪、新阳等8县。东汉承袭西汉旧制，阜阳仍属豫州刺史部汝南郡，境内设汝阴、鲖阳、固始（由寝县改立）、富陂、原鹿（今阜南县阮城）、细阳、宋（由新郪县改立）、慎、新阳等9县。

南北朝时期，境内成为争夺拉锯之地，依次被北魏、南刘宋、南萧齐、北魏、南梁、北齐、北周所属，以北魏所属时间最长。北魏孝昌四年亦即武泰元年（528年），在历史上首次设置颍州。

北宋徽宗政和六年（1116年），因曾为神宗赵顼的封地，升为顺昌府，治在汝阴县（今阜阳市内），下辖汝阴、泰和、颍上、沈丘四县。南宋名将刘锜在顺昌击败金军，史称“顺昌大捷”。

清雍正十三年（1735年），升颍州直隶州为颍州府，原州地附廓阜阳县。

1912年，废州府而留县，亳州改为亳县，和涡阳、蒙城、颍上、太和、阜阳共6县均属安徽省。1914年，省下增设道一级行政机构，阜阳、颍上、蒙城、太和、涡阳、亳县6县属安徽省淮泗道（道尹驻凤阳）。1932年，废道，在阜阳设置安徽省第七行政督察专员公署，仍辖6县。1934年，增置临泉县，上隶第七行署。1940年，第七行政督察专员公署改称第三行政督察专员公署，辖县未变。

抗日战争后期，中国共产党领导的豫皖苏边区抗日民主根据地建置淮北二行署，其辖地包括亳县、蒙城、涡阳3县涡河以北地区。解放战争时期，中国共产党领导的豫皖苏边解放区建置皖北专员公署第三分署，其辖地包括雪涡县、涡阳县、涡亳县等县。后期，随着解放区的不断扩大，又相继建立第四、第六军分区。

1948年，阜阳地区全境解放。1949年3月，中共阜阳地委、阜阳专员公署成立。辖阜阳、蒙城、涡阳、亳县、太和、临泉、颍上、凤台8个县委和界首市委、阜南工委（1950年7月改称阜南县委）。1996年2月，撤销阜阳地区及县级阜阳市，设立地级阜阳市，原县级阜阳市区域分为颍州、颍东、颍泉3区，全市辖3区、亳州市（县级）和界首市（县级）2市以及太和、临泉、阜南、颍上、利辛、蒙城、涡阳7县；1998年2月，亳州市划出由安徽省直管；2000年5月设立地级亳州市，涡阳、蒙城、利辛3县划归亳州市管辖。目前，阜阳市辖颍州、颍东、颍泉3区，太和、临泉、阜南、颍上4县和界首1市。