唐京兆(治今陕西西安)人，字长源。祖籍辽东襄平(今辽宁辽阳)。西魏八柱国之一李弼八世孙。幼聪颖，七岁能文。及长，以王佐自负，漫游嵩、华、终南山。天宝中，为待诏翰林，供奉东宫。常赋《感遇诗》，讽议时政，讥诮杨国忠、安禄山等。因贬斥出宫，隐居嵩山、颍水间。至德元载(756)，肃宗召赴灵武，奏对称旨，以宾友相待，事无大小皆咨之，遇事多有劝谏，权逾宰相。两京平，为李辅国、张皇后(良娣)所嫉，请隐衡山。代宗立，召为翰林学士。复为元载所恶，出为江西判官。元载诛，召入京，又为常衮所忌，出为杭州刺史，有治绩。建中三年(782)，德宗召至奉天(今陕西乾县)，授左散骑常侍，谏止以安西、北庭之地予吐蕃，使吐蕃不得并兵东进。贞元三年(787)，进同平章事，封邺侯。切谏德宗猜忌功臣，智救李晟等名将。事四君，佐三朝，于事多有匡救。好神仙道术，为世人所讥。子繁，著有《邺侯家传》，记其功业，语多不实。