汉王四年(前203)置。治平舆县(今属河南)。辖境相当今河南颍河、淮河之间，京广铁路西侧一线以东，安徽茨河、西肥河以西，淮河以北地区。东汉以后治所屡迁。辖境渐小。东汉、魏、晋属豫州。东晋移治悬瓠城(今河南汝州市，南朝宋移上蔡县来治)，并曾侨置司州于此。北魏、北齐属豫州。北周末属舒州。隋开皇初废。大业及唐天宝、至德时又先后改蔡州、豫州为汝南郡。