周彘地。
春秋屬晉，戰(zhàn)國(guó)屬魏。
秦屬河?xùn)|郡。
西漢彘縣地，屬河?xùn)|郡。
東漢陽(yáng)嘉三年（134）為永安縣地，三國(guó)魏晉胥屬平陽(yáng)郡。
南北朝北魏太平真君九年（448）置嶺東縣（故治今呂梁市交口縣西南），屬吐京郡（今呂梁市石樓縣西北），太和（497）改新城縣，治所徙今勍香鎮(zhèn)迴城、云城一帶。
北齊置臨汾郡及臨汾縣，治今和平鎮(zhèn)申村。
隋開(kāi)皇三年（583）郡廢，改臨汾縣為汾西縣，同新城縣俱屬永安郡，十年（530）省新城縣并入，十六年（596）改屬汾州，十八年（598）改屬呂州。
大業(yè)三年（607）屬臨汾郡。
義寧元年（617）屬霍山郡。
唐武德元年（618）郡廢，屬呂州。
貞觀六年（632）徙治今縣城，十七年（643）改屬晉州。
開(kāi)元中（713～741）徙治厚義（今團(tuán)柏鄉(xiāng)后義村）。
五代屬晉州。
宋太平興國(guó)七年（982）移今治。
政和（1116）屬平陽(yáng)府。
金屬平陽(yáng)府，元屬晉寧路。
明屬平陽(yáng)府。
清雍正二年（1724）改屬隰州，九年（1731）復(fù)屬平陽(yáng)府。
1913年屬河?xùn)|道。
1927年屬山西省。
1937年屬山西省第六區(qū)。
1938年2月縣城為日軍占領(lǐng)。
1946年8月29日縣城解放，屬晉綏邊區(qū)呂梁行署第九專(zhuān)署。
1949年2月屬陜甘寧邊區(qū)晉南行署隰縣專(zhuān)區(qū)，6月為汾西中心縣。
1949年10月屬晉南中心專(zhuān)署（駐臨汾）。
1954年9月屬晉南專(zhuān)區(qū)（駐臨汾）。
1958年6月與霍縣合并為霍汾縣。
10月撤消霍汾縣并入洪洞縣。
1959年7月恢復(fù)霍汾縣。
1961年5月撤消霍汾縣，恢復(fù)汾西縣建制，屬晉南專(zhuān)區(qū)（駐臨汾）。
2000年11月屬臨汾市管轄至今。