三国魏正始八年(247)分河东郡汾水以北十县置，治平阳县(今临汾市西南。北魏移治白马城，即今临汾市)。辖境相当今山西永和县、霍州市以南，河津市、曲沃县以北，古县、浮山县、翼城县以西地区。其后屡有伸缩。隋开皇元年(581)改为平河郡，三年废。义宁及唐天宝、至德时又先后改临汾郡、晋州为平阳郡。魏、晋属司州，北魏先后为东雍州、唐州、晋州治，东魏至北周为晋州治。