北魏太和十二年(488)改吐京镇置。因境内汾水为名。治蒲子城(今山西隰县)。孝昌中，移治隰城县(唐改名西河县。今汾阳市)。北齐改为南朔州，北周改为介州，隋大业三年(607)，改为西河郡，唐武德元年(618)，改为浩州，三年复为汾州。天宝元年(742)，改为西河郡。乾元元年(758)，复为汾州。辖境相当今山西汾阳、平遥、孝义、介休、灵石等市、县地。明洪武初，以西河县省入州。万历二十三年(1595)，升为汾州府。唐属河东道，北宋属河东路，金属河东北路，元属冀宁路，明属山西省。