隋开皇九年(589)置。以衡山得名。治衡阳县(今市)。辖境约当今湖南衡山和常宁市、耒阳市间的湘江流域。大业、唐天宝、至德间曾改为衡山郡。宋属荆湖南路。元至元十四年(1277)升为衡州路。