唐颍川(治今河南许昌)人，世居滑州匡城(今河南长垣西南)。少孤，依舅刘玄佐为汴州掾，历大理评事、宣武军都知兵马使。贞元十五年(799)节度使刘全谅卒，军士拥之为留后，诏授汴州刺史、宣武军节度使。次年斩汴镇屡作乱将士三百人，威望大振，此后二十余年宣武士卒无敢为乱。元和十年(815)请命合攻吴元济，任淮西诸军行营都统，以功封许国公。在镇二十余年，征赋皆不上供，积私钱百万贯、绢百万匹、粟三百万斛、马七千匹，兵械不可数。十四年平卢李师道诛，诸藩暂时听命朝廷，他自请入朝，进位司徒，兼中书令。