夏、商、西周為戎狄所居。
春秋、戰(zhàn)國為樓煩族人游牧地，戰(zhàn)國末期，趙國置雁門郡，治善無（今右衛(wèi)鎮(zhèn)）。
秦置善無縣，屬雁門郡。
西漢添置中陵縣，王莽新朝雁門改為填狄，善無改為陰館，中陵改為遮害。
東漢初恢復(fù)原郡縣名稱，建武二十七年（51）雁門郡治南遷，屬定襄郡，治善無。
三國、西晉、十六國時期，多為鮮卑族人游牧地。
北朝北魏為畿內(nèi)地，置善無郡善無縣（郡縣同治），初屬司州，后屬恒州。
北朝東魏為柔然族（蠕蠕）游牧地。
北朝北齊、北周屬朔州廣安郡。
隋朝屬馬邑郡善陽縣（治所在今朔城）。
唐屬云州云中縣（治所在今大同市），天寶年間置靜邊軍。
五代后唐屬云州，后晉割讓給契丹（后稱遼）。
遼、金屬大同府云中縣。
元代屬大同路大同縣（治大同市）。
明設(shè)右衛(wèi)、玉林衛(wèi)和威遠(yuǎn)衛(wèi)，為軍民共轄的實土衛(wèi)所，屬大同行都司（治大同市）。
清雍正三年（1725），置朔平府，撤銷右衛(wèi)、玉林衛(wèi)、威遠(yuǎn)衛(wèi)置右玉縣，府、縣同治右玉城。
民國廢府留縣，初屬雁門道，后直屬山西省。
抗日戰(zhàn)爭時期，日軍侵占了縣城及交通要道沿線，山區(qū)由抗日民主政府管轄。
和右清縣抗日民主政府轄東北部山區(qū)，后合并為右玉縣抗日民主政府，右南縣抗日民主政府、右山懷中心縣抗日民主政府轄東南部山區(qū)，右平縣抗日民主政府轄西南部山區(qū)。
這些縣級政府初屬晉綏邊區(qū)十一專署，后改為五專署，1945年8月，人民民主政府遷入右玉城，轄全境。
1949年9月屬察哈爾省雁北專區(qū)。
1953年9月，東南部48個自然村劃歸山陰縣，轄城關(guān)1鎮(zhèn)，47個鄉(xiāng)。
1958年11月，并入左云縣。
1961年4月，恢復(fù)縣制。
1972年11月，縣城由右玉城遷到梁家油坊。
1993年劃歸朔州市。