唐京兆万年(今陕西西安)人，字殷卿。韦安石子。少聪敏，善文辞，工隶书。常与王维、崔颢唱和。开元中，历中书舍人、礼部侍郎。改革考试制度，参考平时成绩取士。继为吏部侍郎，选拔严格，伪冒者不使得逞。复遭李林甫、杨国忠嫉妒，屡贬襄阳太守、昭州平乐尉。肃宗即位，授御史大夫兼江东节度使。会永王李璘起兵，联高适、来瑱设盟共讨之。后征入朝。为洛阳留守。史思明犯洛阳时，领兵守陕州。晚岁郁郁不得志，终吏部尚书，卒于虢州。