汉武帝元狩六年(前117)，析沛郡东部与广陵郡东、西部地置。治徐县(今江苏泗洪南)。辖境相当今江苏除扬州、高邮、江都、宝应等市县及仪征市、金湖县东部以外的淮南地区和淮北宿迁市、涟水、泗洪、睢宁县，安徽天长、明光市地。新莽时，以其东部和北部割予广陵郡。东汉建武十五年(39)，改为临淮国，立皇子刘衡为临淮公。十七年，衡死，无子，国除为郡。建初四年(79)，省入下邳国。