北朝时代郡武川(今内蒙古武川西)人，字黑獭。其先为匈奴远支，后与鲜卑族合。少随父在五原降户鲜于修礼军，继随贺拔岳迎魏孝庄帝回洛阳。又入关破万俟丑奴，定陇右，行原州事。太昌元年(532)，岳为关西大行台，委以左丞，领台府司马，事无巨细，皆参预议决。寻为夏州刺史。永熙三年(534)，岳为侯莫陈悦所害，遂为其众所推，率军攻杀悦，威镇秦陇。拜关西大行台，传檄方镇，誓除丞相高欢。八月，迎魏孝武帝入关，寻杀帝，立元宝炬为帝，专军国大政，授大将军，进位丞相。西魏大统元年(535)，都督中外诸军事、大行台，改封安定公。十四年进太师，后以冢宰总朝政。军纪严明，知人善任，拔李弼、独孤信等于戎伍之中，又擢用苏绰、卢辨于儒士之间。锐志改革。上三十六条新制，禁贪污、裁减官员、实行屯田等，以为“中兴永式”。颁行均田制，又广募关陇豪右，以增军旅，编为十二军，由八柱国统率，创立府兵制度。执政二十余年，奠定了北周基础。卒谥文公。闵帝受禅，追谥文皇帝，庙号太祖。