唐宗室。以父荫入仕。玄宗时，举宗室异能，转殿中侍御史、兵部侍郎。杨国忠疾之，以本官知礼部贡举。后出任河东太守，为政清简。天宝十四载(755)安禄山反，朝廷以其儒者，非御侮才，以祭酒召还。俄随玄宗入蜀，迁宪部尚书、同平章事，总管行在百司事务。玄宗还京，以刑部尚书同中书门下三品，进封褒国公。张良娣、李辅国专权用事，他守正不阿，辅国不悦，罢为太子少傅。