唐末，屬播州。
宋代，屬播州播川縣。
元至明萬歷二十八年（1600年），屬播州安撫司、播州長官司地。
清代，分屬遵義縣北鄉(xiāng)大溪里、西鄉(xiāng)沙溪里第七甲。
民國二十一年（1932年），分屬北三區(qū)和西三上區(qū)。
1949年11月，分屬第八區(qū)山盆鄉(xiāng)，第七區(qū)干溪鄉(xiāng)。
1958年，屬山盆公社和楓香公社。
1961年，屬山盆區(qū)芝麻（大坪）公社、楠木公社（1983年更名桔香公社）、竹元公社。
1984年，公社改鄉(xiāng)。
1992年，原山盆區(qū)芝麻、桔鄉(xiāng)、竹元3鄉(xiāng)地合并為芝麻鎮(zhèn)。
2016年，撤銷遵義縣，將原遵義縣芝麻鎮(zhèn)劃歸遵義市匯川區(qū)管轄。