淮南郡“原创”于江淮地区。秦置九江郡，西汉改淮南国，东汉改阜陵国，两王国不存期间仍为九江郡，郡治或王都均在寿春县。淮南郡的“诞生”源自东汉末年袁术割据。初平四年（193年），袁术占领淮南。兴平元年（194年），袁术并九江郡（时郡治阴陵县，位今定远县永康镇古城村）与阜陵国（时王都寿春县）为淮南郡，郡治寿春县，淮南郡在中国历史上第一次出现。
汉献帝建安二年（197年）正月，“袁术称帝于寿春，自称仲家，以九江太守为淮南尹。置公卿百官，郊祀天地”。寿春成为袁术割据政权的都城。从汉代开始，首都所在城市的郡级建制和行政长官皆称“尹”。如西汉建都长安时的京兆尹，东汉建都洛阳时的河南尹。“淮南尹”的设置堪称中国历史第三尹。此后魏晋两朝，郡级建制的名称就在淮南国（楚国）与淮南郡之间不断转换。
西晋永嘉之乱后，北方士民南渡，聚族而居。东晋南朝统治者对南渡士民，一面拉拢其中的世家大族参加政权，一面设置侨州侨郡侨县安置侨民。生活在侨置建制里的士民保持原来籍贯，另立户籍，给以优复特权，不受当地政府管辖。当时司州、豫州流民多取道淮河支流涡水、颍水、汝水，渡淮后寄寓在钟离（今凤阳县临淮关镇）、马头（今蚌埠市禹会区马城镇）、寿春一线。再南迁的则深入江淮之间甚至长江南岸。
与此同时，淮南士民也播迁江南。于是形成双重的喧宾夺主，北方士民夺淮南地名，淮南士民又夺江南地名，结果造成南北朝时期地方行政建制的严重混乱，“或地无百里，数县并置；或户不满千，二郡分离。所谓民少官多，十羊九牧”。这一时期，中国竟出现过4个淮南郡。直至隋朝改州、郡、县三级管理为州、县两级管理，淮南郡才不复存在。
其一，江南淮南郡。
南北朝时，南朝淮南郡主体是在江南而不是在江淮。东晋咸和四年（329年），晋成帝在江南于湖县（位今当涂县南）侨置淮南郡，用以安置江淮流民。东晋末年实行土断，从宣城郡析出实土，江南淮南郡成为实郡。淮南郡郡治于湖县，领于湖、繁昌、当涂、逡遒（今宣城市水阳镇）、定陵（今青阳县丁桥镇）、襄垣（今芜湖市）等6县，辖境相当于今当涂、芜湖、繁昌、南陵、铜陵等县、市地。
宋大明六年（462年），孝武帝册封年仅4岁的儿子刘子孟为淮南王，食邑两千户。为此孝武帝还特意对行政地域作了重大调整，将江南淮南郡并入宣城郡，将江淮之间南梁郡（原淮南郡）改置为淮南国。大明八年（464年）闰五月，宋孝武帝病死，淮南王刘子孟兄刘子业继位，是为前废帝。前废帝推翻孝武帝各项制度，“二郡并复旧，子孟仍国名，度食淮南郡”。就是说，刘子孟虽然还是淮南王，但淮南国又从江淮回到江南，已并入宣城郡的淮南郡重新析出，重置为淮南国（郡），作为淮南王刘子孟的食邑。
同年，年仅8岁的刘子孟与其兄弟27人被宋明帝一体杀害，淮南国除为淮南郡。此后江南淮南郡一直未变，只是辖域逐渐缩小。至南陈，陈叔彪封淮南王时，淮南郡只领于湖、当涂、襄垣、西乡（县治无考）4县，大致辖域为长江南岸马鞍山、芜湖、繁昌、南陵等市、县地。隋开皇九年（589年）平南陈，此淮南郡撤销。
其二，江淮淮南郡。
东晋孝武帝（372-396年在位）于淮南郡侨置南梁郡与睢阳县。晋末土断后，江南淮南郡与江淮南梁郡同时由侨转实，“原创”江淮的淮南郡被南梁郡完全取代，淮南郡的名称反而转至江南。南北朝前期，今淮南市域主要归属南梁郡，只有前述刘子孟封淮南王时，淮南国（郡）由江南一度短暂回归江淮，时间只有两年，即公元462-464年。
南北朝后期，南北政权争夺重点由黄淮转至江淮，北方政权几度夺占淮南。这段时间将近百年，南朝控制时仍称梁郡或南梁郡，北朝控制时则称淮南郡。北朝淮南郡存续时间有3段：第一时段为北魏景明元年（500年）至孝昌二年（526年）；第二时段为东魏武定七年（549年）至八年（550年）。北齐天保元年（550年）至武平四年（573年）；第三时段为北周大成元年（579年）至大定二年（581年）。隋开皇元年（581年）至三年（583年）。
隋文帝实行地方行政建制改革，将州郡县三级管理改为州县两级管理，江淮淮南郡撤销，地属扬州，州治寿春县。开皇九年（589年），隋统一中国，对全国行政区划进行统一规划，扬州于此时改为寿州。大业三年（607年）至十四年（618年），隋炀帝改州为郡，寿州改为淮南郡。唐代重新实行州县两级管理制度，淮南郡仍为寿州。后来唐玄宗虽曾一度改州为郡，但其所改寿州是“寿春郡”而非淮南郡，“淮南郡”于是永远退出历史舞台。
其三，南阳淮南郡。
南北朝时期行政区划极为混乱，因隶属多变，兴废频繁，异地重名，一名数出，杂乱无章的现象特别严重，如《南齐书·州郡志》，南豫州和司州各有一个淮南郡。南豫州淮南郡即前述江南淮南郡，司州淮南郡领阁口县和平氏县。阁口县治所位今河南省桐柏县东南，平氏县治所即今桐柏县平氏镇。此淮南郡在淮河上游之南，倒也符合“淮南”的地理特征。因地处古南阳地区和今河南省南阳市区，故称此郡为“南阳淮南郡”。
《魏书·地形志》同样也有两个淮南郡，其中扬州淮南郡即江淮淮南郡。另一淮南郡归属霍州，领淮南、新兴、清河3县。查《中国古今地名大词典》，淮南县由“西魏置，治今河南省桐柏县境。隋开皇末改名油水县”。虽然治所不同，但阁口县与淮南县均在今桐柏县境，因之西魏淮南郡与淮南县应是同时设置，是对南齐南阳淮南郡的继承。
《隋书·地理志》注释“汉东郡顺义县”说：“梁置北随郡。西魏改为南阳（郡），析置淮南郡。（以）厉城、顺义二县立冀州，寻改为顺州。”顺义县治所位今湖北省随州市北，北邻河南省桐柏县，因此顺州淮南郡与南阳淮南郡当为同一淮南郡，只是治所南迁而已。
其四，光州淮南郡。
《隋书·地理志》注释“弋阳郡定城县”说：“后魏置弋阳郡，及有梁东新蔡县。后周改为淮南郡。”隋、唐两代，弋阳郡与光州两度互换，郡（州）治定城县即今河南省潢川县。东新蔡县位今潢川县东北。此地与江淮淮南郡为邻。北周大象元年（579年）从南陈攻取获得江淮，于此地设淮南郡。但北周先前已置江淮淮南郡，这就是“异地重名，一名数出”的突出表现。两年后，隋代北周，隋文帝改此淮南郡为弋阳郡。