明清時(shí)，上義屬古名都上，義社（約）。
民國(guó)十八年（1929年），屬第一區(qū)上義鄉(xiāng)。
民國(guó)三十年（1941年），屬第一區(qū)尚好鄉(xiāng)。
民國(guó)三十四年（1945年），改為廣義鄉(xiāng)。
中華人民共和國(guó)成立初，屬第二區(qū)好義鄉(xiāng)。
1952年，屬第七區(qū)。
1957年12月，成立上義鄉(xiāng)。
1958年10月，屬好義公社。
1961年4月，分立上義公社。
1963年3月，并入好義公社。
1973年4月，再次恢復(fù)上義公社。
1983年9月，撤社設(shè)區(qū)。
1987年4月，改設(shè)上義鎮(zhèn)。