西汉鲁国邹(今山东邹城东南)人，字少翁。韦贤子。后徙杜陵(今陕西西安东南)。少以父任为郎。宣帝时以明经擢为谏大夫，嗣父爵为侯，历任河南太守、未央卫尉、太常等职。因侍祀庙堂失礼，削爵为关内侯。后拜淮阳中尉。受诏于石渠阁与诸儒杂论《五经》同异。元帝即位，为少府，迁太子太傅。永光中，以御史大夫迁丞相，封侯故国。