清代，屬寧古塔副都統(tǒng)管轄。
清光緒二十九年（1903）設(shè)置綏芬廳后，屬由義社轄區(qū)。
清宣統(tǒng)元年（1909），改隸東寧廳管轄。
1917年隸屬東寧縣第二區(qū)。
1934年改為第五區(qū)，設(shè)老黑山保。
1939年設(shè)老黑山村。
1945年設(shè)置老黑山區(qū)，1948年10月改為第六區(qū)。
1956年5月，撤區(qū)劃鄉(xiāng)，分設(shè)老黑山、太平溝、二道溝3個鄉(xiāng)。
1958年，將3個鄉(xiāng)合并成立老黑山人民公社。
1983年，改為老黑山鄉(xiāng)。
1985年3月7日，改設(shè)老黑山鎮(zhèn)。
2001年1月，黃泥河鄉(xiāng)并入老黑山鎮(zhèn)。
名稱沿用至今。