隋開皇十八年（598），改安陽縣為碭山縣，屬宋州梁郡。
唐代先后屬河南道宋州、輝州。
五代后梁升輝州碭山縣為“赤縣”（京師直屬縣）；后唐屬單州。
宋代屬京東西路單州。
金代屬南京路單州，改隸歸德府。
元代屬中書省東平路，改屬濟州、濟寧路。
明代屬南京直隸京師徐州。
清代先后屬江南省直隸徐州、江蘇省直隸徐州、淮徐海道徐州府。
民國時期先后屬江蘇省徐海道、江蘇省行政督察銅山區(qū)、江蘇省行政督察第九區(qū)、江蘇省徐州綏靖公署。
1948年11月7日，碭山解放，屬共產(chǎn)黨領(lǐng)導(dǎo)的豫皖蘇三分區(qū)。
1953年2月1日，屬江蘇省徐州專署。
1961年，屬宿縣專署。
1999年，撤銷宿縣地區(qū)行政公署，改設(shè)宿州市，碭山縣屬宿州市。