西漢時期，縣境東部屬牂牁郡句町、鐔封、進桑、宛溫縣，西部屬益州郡、毋棳縣。
蜀漢為庲降都督府興古郡。
隋屬南寧州總管府昆明。
唐南詔時期屬通海都督府轄地。
宋大理時期屬最寧鎮(zhèn)維摩部、教合三部、廣南西路和哈迷萬戶府。
明分屬臨安府阿迷州教化長官司，廣南府和廣西府維摩州。
清為開化府文山縣、廣西直隸丘北縣、廣南府寶寧縣、臨安府阿迷州轄地。
清道光三年（1823），設江那縣丞。
1912年，設江那縣佐（江那、盤龍、八嘎一帶），隸屬文山縣。
1932年，江那縣佐和廣南縣的小維摩縣佐（維摩、阿猛、阿基一帶）析出，合并成立硯山設治局。
1935年7月1日，設置硯山縣，隸屬云南第六區(qū)團練督練處，今西部稼依、平遠、阿舍一帶時屬開遠東山區(qū)，后屬云南省第二區(qū)（后改為第四區(qū)）行政督察文山專員公署。
1958年10月，硯山縣與文山縣合并為文山縣，撤銷硯山縣制。
1961年8月31日，文、硯分縣恢復硯山縣制，至今。