堯舜禹時(shí)，劃分星野，天地相應(yīng)。
此地上應(yīng)房星而稱“房”。
舜封堯子丹朱于此，為房邑。
禹治水，劃九州，房地屬豫州。
夏、商相沿。
西周稱房子國。
周景王十四年（前531）歸楚。
周敬王十五年（前505）稱吳房。
戰(zhàn)國時(shí)吳房亦稱畐焚。
秦始皇二十六年（前221）屬潁川郡。
三十三年（前214）改屬陳郡。
西漢高帝四年（前203）始置吳房縣，并于吳房東部置灈陽縣（因處古灈水之北而得名），屬豫州部汝南郡。
三國時(shí)吳房、灈陽二縣均屬豫州部汝南郡。
西晉相沿。
東晉十六國先后歸后趙、前燕、前秦、后秦。
南朝宋廢吳房縣，灈陽縣屬司州部汝南郡。
后魏灈陽縣為魏地，屬汝南郡。
北魏皇興二年（468）省灈陽縣，置遂寧（今文城鄉(xiāng)小文城村）、義綏（今沈寨鎮(zhèn)小寨村西南）兩縣，屬豫州部襄城郡。
東魏相因。
北齊天寶四年（553）罷義綏縣入遂寧縣，仍屬豫州部襄城郡。
隋大業(yè)二年（606）改遂寧縣為吳房縣，屬豫州部汝南郡。
唐設(shè)道，改郡為州，吳房縣屬河南道蔡州。
貞觀元年（627）裁吳房縣。
八年（634）復(fù)置。
元和十二年（817），憲宗下詔“敕改蔡州吳房縣為遂平縣”，始有遂平之名，先屬溵州，后屬唐州。
長慶元年（821）復(fù)隸蔡州。
五代十國相沿。
北宋屬京西北路蔡州。
南宋建炎三年（1129）廢遂平縣為吳房鎮(zhèn)，屬西平縣。
金皇統(tǒng)元年（1141）復(fù)置遂平縣，屬南京路蔡州鎮(zhèn)南軍。
泰和八年（1208）屬南京路蔡州鎮(zhèn)南軍節(jié)度。
元至元七年（1270）省遂平縣入汝陽縣，屬蔡州。
三十年（1293）復(fù)置遂平縣，省蔡州為汝寧府，屬河南江北行省汝寧府。
明屬河南布政使司汝寧府。
清沿明制。
1913年屬豫南道。
1914年屬汝陽道。
1927年直屬河南省。
1932年屬河南省第八行政督察區(qū)。
1948年2月與西平縣部分地區(qū)合組遂西縣。
6月遂、西兩縣分置，復(fù)為遂平縣。
1949年屬信陽專區(qū)。
1965年屬駐馬店專區(qū)。
1969年屬駐馬店地區(qū)。
2000年屬地級(jí)駐馬店市。
2001年析出關(guān)王廟、諸市兩鄉(xiāng)劃歸駐馬店市驛城區(qū)。
2017年驛城區(qū)關(guān)王廟鄉(xiāng)的八里鋪村、潘莊村劃入遂平縣，成今境。