西汉始元六年(前81)置。治允吾(今甘肃永靖北盐锅峡镇附近)。辖境约当今甘肃兰州市以西，青海省青海湖以东黄河、湟水流域和大通河下游地区。东汉末以后，辖境缩小，仅有今大通河下游以东地区。西晋迁治榆中(今甘肃榆中北)，末年迁治金城(今兰州市)，北魏仍治榆中，辖境相当今兰州市及其南一带。西魏后治子城(金城县改名)。隋开皇初废郡改为兰州，大业初复置郡，唐武德初又改为兰州。天宝、至德时又曾改兰州为金城郡。