晋颍川颍阴(今河南许昌)人，字大章。初为司徒左西曹掾属，历太子中庶子、荥阳太守。赵王伦篡位，为侍中。惠帝迁长安，为河南尹，迁尚书，转卫尉，加散骑常侍、中书监。永嘉五年(311)，汉刘曜攻陷洛阳，乃与兄藩奔轘辕(在今河南偃师东南)，建行台于密(今河南新密)，传檄四方，推琅邪王睿为盟主。其甥秦王司马邺来投，遂奉之趋许昌。豫州刺史阎鼎谋奉邺入关，以据长安，他与兄藩等不从，中途逃散。鼎扶邺入长安，奉为皇太子，仍命组以太子舅领司隶校尉，行豫州刺史事，与兄藩保开封。邺即帝位(愍帝)，更以为司空、领尚书左仆射兼司隶，复行留台事。次年，进位太尉，领豫州牧。及愍帝为刘聪所俘，乃上表劝睿继位。元帝任之为司徒。太兴元年(318)，为石勒所逼，在许昌(今属河南)帅其属数百人渡江，诏拜录尚书事。