西汉高帝二年(前205)置，一说五年立长沙国后分南部地区置。治郴县(今湖南郴州市)，辖境约当今湖南桂东、郴州、嘉禾、宁远、道县以南，广东连州、乐昌及广西兴安等市、县地。其后屡有变化，元鼎六年(前111)分西部地区置零陵郡，宣帝以后相当今湖南耒阳以南的耒水流域、舂陵水流域和洣水下游以及广东连江口以北的连江、北江流域。三国吴孙皓于南部分置始兴郡，辖境缩小。隋开皇九年(589)废。大业及唐天宝、至德时又曾改郴州为桂阳郡。