隋齐郡(治今山东济南)人。大业九年(613)起义，与王薄联合，攻占长白山(在今山东邹平南)，转战山东诸郡。后为隋将周法尚、张须陀所攻，率军向江淮转移。十年，至盱眙(今江苏盱眙东北)，有众十余万。据都梁山，以淮水之险为固，分兵南攻，被隋将王世充击败。义宁元年(617)北走投瓦岗军，任总管，封齐郡公。后受李密之命，与裴仁基率军二万人攻克回洛仓(在今河南洛阳隋洛阳故城北)。