西晋淮南寿春(今安徽寿县)人，字伯武(唐避讳改虎为武)，一名貔。与父胡质俱以清慎著称。始拜侍御史，后出任徐州刺史。累迁监豫州诸军事、右将军、豫州刺史。入为尚书，加奉车都尉，尝谏时政之宽，以为“肃化明法”，不在丞郎令史，而在高官，拜前将军，监青州刺史，封平春侯。