唐华州华阴(今属陕西)人，字履庄。杨素侄。武德初，为太子通事舍人，袭清河郡公。贞观中，历兵部员外郎，三迁中书舍人。十九年(645)，太宗攻高丽，以其有文武材，擢兵部侍郎，与褚遂良、许敬宗同掌行在机务。二十年，任中书侍郎。二十一年，迁司农卿，兼充昆丘道副大总管，往攻西域，俘龟兹、于阗王而还。