西晋泰始二年(266)置。治汲县(今卫辉市西南)。辖境相当今河南新乡、辉县、卫辉、获嘉、修武等市、县地。属司州。《晋书·王宏传》：泰始初为汲郡太守，“督劝开荒五千余顷”。北魏移治枋头城(今浚县西东、西枋城)。辖境亦有变迁。北周为卫州治。隋开皇初郡废。大业及唐天宝、至德时又曾改卫州为汲郡。