元至正二十四年(1364)朱元璋改衡州路置。治衡阳县(今市。清乾隆中分衡阳县东南乡置清泉县，同为府治)。明属湖广布政使司。辖境相当今湖南衡阳、衡山、衡东、常宁、耒阳、安仁、炎陵、桂阳、嘉禾、蓝山、临武等市、县地。清属湖南省。雍正十年(1732)桂阳州升为直隶州，府境南界北移至今耒阳市、常宁市。1913年废。