潛山在周朝時,為皖國所轄、皖國都城就在今潛山縣城，東漢獻帝初平末年（193），廬江太守陸康為遠避戰(zhàn)亂，將廬江郡治遷至皖縣城。
唐時，潛山縣曾為舒州治所。
元至治三年(1323)，分懷寧縣清朝、玉照兩鄉(xiāng)，始置潛山縣，隸屬于河南江北行省安慶路總管府。
元至正二十一年(1361)，改安慶路為寧江府。
次年，又恢復安慶府，直隸于南京。
清沿用安慶府舊稱。
順治二年（1645)，劃屬江南省，十八年(1661)，置江南左布政使司以轄之。
康熙六年(1667)，改江南左布政使司為安徽布政使司，正式設置安徽省。
爾后，縣的全稱則為安徽省安慶府潛山縣。
中華民國初年，安慶府被廢，潛山縣直屬安徽省。
1914年，設安慶道以轄之。
1928年，廢安慶道，潛山縣又一度直屬于安徽省。
1932年直至縣境解放之時，潛山縣先后受轄于安徽省第一行政區(qū)或安慶專區(qū)。
1949年4月稱皖北行署安慶專區(qū)潛山縣；1971年3月，改稱安徽省安慶專區(qū)潛山縣；1979年底，改安慶專區(qū)為安慶地區(qū)，后改安慶地區(qū)為安慶行署，潛山縣相沿隸屬之。
1989年后屬安慶市。
1992年撤區(qū)并鄉(xiāng)，設12個鎮(zhèn)、18個鄉(xiāng)。
2004年，潛山縣鄉(xiāng)鎮(zhèn)行政區(qū)劃調(diào)整（安徽省民政廳民地字[2004]209號），鄉(xiāng)鎮(zhèn)由30個調(diào)整為16個。
2018年7月2日，撤銷潛山縣，設立縣級潛山市。
由安徽省直轄，安慶市代管。