上古南岳古為衡州之域。
秦統(tǒng)一中國(guó)后，南岳衡山其地屬衡陽(yáng)郡。
三國(guó)吳會(huì)稽王太平二年（257年），隸屬衡陽(yáng)縣。
西晉永熙元年（290年），改衡陽(yáng)縣為衡山縣，為縣名之始。
隋屬衡州郡。
唐屬衡州。
55.88屬衡州衡陽(yáng)郡。
元屬衡州路。
明屬衡州府。
清因之。
中華民國(guó)廢府存道，直屬衡陽(yáng)道。
中華人民共和國(guó)20世紀(jì)50年代，衡山縣屬湘南行政區(qū)（行政中心衡陽(yáng)市）、衡陽(yáng)專區(qū)。
1960年初，衡山劃出南岳公社和南岳鎮(zhèn)歸衡陽(yáng)市南岳管理局管轄，次年底，南岳管理局改稱南岳縣。
1966年，撤銷南岳縣；將衡山縣湘江以東地區(qū)析出組建衡東縣，原南岳縣與衡山縣湘江以西地區(qū)合并為衡山縣。
1984年，正式成立南岳區(qū)人民政府。