隋扶风平陵(今陕西咸阳西北)人。深沉有谋，善弓马。初仕西魏，为千牛备身。复仕北周，从武帝平北齐，加上开府，拜前将军、佽飞中大夫。少与杨坚(隋文帝)友善，娶坚姊(安成长公主)为妻。入隋，拜右武候大将军，寻授秦州总管。开皇三年(583)，以行军元帅率九总管步骑三万出凉州，大败突厥阿波可汗。转任左右武卫大将军，文帝欲以为三公，上书固辞。获赏赐不可胜数。