南朝宋东海郯县(今山东郯城北)人，字孝源，小名仙童。徐羡之从孙，母武帝长女会稽公主。幼孤，为武帝所爱，封枝江县侯。元嘉六年(429)，起家太子洗马，历官至秘书监。与彭城王义康相亲厚。十七年，文帝诛领军刘湛，事连，将致死罪，赖其母哭请得免。累迁丹阳尹。二十二年，与范晔等谋反，继而告发之，以此免罪。后出为南兖州刺史。复为丹阳尹。二十八年，为尚书仆射，与吏部尚书江湛并居权要，时谓“江、徐”。刘劭杀父自立时，与湛同为劭所杀。