北周宣政元年(578)改北徐州置。以州城东临沂水得名。治即丘县(今山东临沂市西)。隋大业初改为琅玡郡。移治临沂县(今市)。唐复改沂州。属河南道。辖境相当今山东临沂、郯城、临沭、枣庄、费县、蒙阴、新泰、沂水、沂南、苍山、沂源、平邑等市、县地。宋属京东东路。金属山东东路。辖境缩小，有今临沂、临沭、郯城、苍山、费县、平邑等市、县地。元属益都路。明属兖州府。省临沂县入州。清雍正二年(1724)升为直隶州。属山东省。十二年又升为沂州府。北宋庆历三年(1043)王伦起义于此。金末为刘二祖领导的红袄军根据地。