唐高州良德(今广东高州东北)人。冯盎曾孙。因宦官高延福收为养子而改姓。圣历元年(698)，入宫为武则天宦官，与武三思相交，又倾心附结临淄王李隆基(玄宗)。开元初，从玄宗杀太平公主，为右监门卫将军，知内侍省事，授三品将军，权势益大。太子称之为二兄，诸王公主称之为阿翁，驸马辈称之为爷，玄宗亦常称之为将军。凡表奏文书，必先呈之而后进。玄宗曾说：“力士当上，我寝乃安。”权臣宇文融、李林甫、杨国忠、安禄山等皆厚结之。资产殷厚，王侯莫及。累加骠骑大将军，封渤海郡公。常在玄宗侧，亦时乘间进谏。开元二十五年(737)太子李瑛被废，李林甫等谋立武惠妃子寿王李瑁，他劝玄宗推长而立，遂立忠王李玙(肃宗)为太子。天宝十三载(754)，边将立功，玄宗甚得意。他谓边将拥兵太盛，恐祸成不可救，隐指安禄山。同年秋，大雨成灾，玄宗征询之。对曰：“自陛下以权假宰相，赏罚无章，阴阳失度，臣何敢言!”次年，安禄山反，从玄宗入蜀。后还京师，为宦官李辅国所诬，流巫州。后赦还，途中闻玄宗死，呕血而亡。