隋代郡(治今山西大同东北)人。本姓尉迟，文帝以其父功赐姓杨氏。幼养宫中，及长，任陕州刺史。能驰射，颇有将才。曾率军战胜突厥达头可汗。仁寿初，为朔州总管。仁寿四年(604)，炀帝即位，汉王杨谅于并州反，奉诏出讨，以计取胜，进位上大将军，授相州刺史。复从炀帝攻吐谷浑、高丽。又回师转战河北，镇压向海明、高士达等农民起义军。炀帝忌其威名，大业十二年(616)，征入朝，除兵权，拜礼部尚书。卒官。