清道光二十三年（1843年），金州廳在長山列島設(shè)置小長山島社。
清光緒二十年（1894年），中日甲午戰(zhàn)爭后，長山列島被日本帝國主義侵占。
清光緒二十四年（1898年），帝俄占據(jù)旅大設(shè)置關(guān)東州廳，設(shè)長山列島行政區(qū)，下設(shè)小長山島聯(lián)合村團(tuán)。
清光緒三十年（1904年），日本重新占領(lǐng)長山列島。
清光緒三十二年（1906年），建小長山島會。
民國三十四年（1945年）11月，建小長山鄉(xiāng)，屬長山區(qū)。
1949年11月，建小長山區(qū)，屬長山縣，時(shí)為縣黨政機(jī)關(guān)所在地（1960年遷駐大長山島）。
1950年8月，改稱長山縣第一區(qū)。
1955年6月，復(fù)稱小長山區(qū)。
1956年3月，建小長山、烏蟒2鄉(xiāng)。
1957年，增設(shè)鈀蛸鄉(xiāng)。
1958年6月，3鄉(xiāng)合并為小長山鄉(xiāng)。
同年9月，撤鄉(xiāng)建立小長山公社。
1983年10月，撤公社建小長山鄉(xiāng)。
2017年，改小長山島鎮(zhèn)。