隋河南洛阳人，字宜君。少慷慨，有大志，娴熟弓马，博览群书。仕北周，累迁内史大夫，封杨国公。宣帝惮其刚正，出为襄州总管。大象二年(580)，杨坚辅政，司马消难起兵，受命为行军元帅讨平之。坚以女妻其子奉孝。拜大司徒。入隋，进封郢国公。其子奉孝死，因上表言公主年少，请除服，为杨素所劾，渐为文帝疏远，心甚怨望。后与元谐往来，发泄不满，被告发，赐死于家。