灰埠原屬建成縣的管轄范圍。
唐武德五年（622）建成縣改名高安縣，灰埠屬高安縣管轄。
中華人民共和國成立前，灰埠地區(qū)除鈞山、荷山屬二區(qū)的枧溪鄉(xiāng)管轄外，其余皆屬三區(qū)所轄。
當(dāng)時(shí)的新德鄉(xiāng)設(shè)在灰埠圩典堂，下轄11個(gè)保，71個(gè)自然村，115個(gè)甲；文治鄉(xiāng)設(shè)在盧圩完公廟，下轄7個(gè)保，32個(gè)自然村，66個(gè)甲；六合鄉(xiāng)設(shè)在五里諶村天王廟，下設(shè)9個(gè)保，57個(gè)自然村，102個(gè)甲；鳳嶺、銅塘屬三區(qū)德義鄉(xiāng)所轄。
1949年前，灰埠除鈞山、荷山屬二區(qū)的枧溪鄉(xiāng)管轄外，其余皆屬三區(qū)管轄。
1951年4月縮小鄉(xiāng)范圍，屬五區(qū)，管轄沙洲、錦洲、錦江、銀樹、灰埠、希嶺、五里等鄉(xiāng)。
1956年5月(合作化時(shí)期)合并鄉(xiāng)，屬灰埠區(qū)，管轄灰埠、五里、錦洲3個(gè)鄉(xiāng)。
1958年8月，實(shí)行人民公社建制，屬東風(fēng)公社（一部分屬超英公社）。
1961年6月，設(shè)區(qū)劃社，屬灰埠區(qū)，劃分為灰埠、五里、盧圩3個(gè)公社。
1964年4月，撤區(qū)擴(kuò)社并隊(duì)，又合并為灰埠公社。
1984年3月，改公社為鄉(xiāng)鎮(zhèn)，改為灰埠鄉(xiāng)。
1985年6月撤銷灰埠鄉(xiāng)，設(shè)立灰埠鎮(zhèn)至今。