楚汉之际分秦九江郡置。辖境相当今安徽长江以南，泾县、宣州以西和江西信江流域及其以北地区。汉武帝时废江南庐江郡，另于江北置郡。治舒(今安徽庐江县西南)。辖有今安徽巢湖、舒城、霍山等市县以南，长江以北及湖北武穴、蕲春、罗田、麻城等市县以东，还包括河南商城等县地。三国魏、吴各于其境置庐江郡。魏治六安县(今六安市北)，辖有今安徽庐江、舒城、霍山、六安等市县地;吴治皖县(今安徽潜山县)，辖有今安徽西南部，即长江以北，岳西、庐江县以南及巢湖市以西地。西晋统一，复治舒城(今安徽舒城县)。隋开皇九年(589)废。大业及唐天宝、至德时，又曾改庐州为庐江郡，治合肥县(今安徽合肥市西)。