东晋太元二年(377)，谢安为对抗北方前秦，派其侄谢玄为南兖州刺史(治京口，今江苏镇江)，监江北诸军事，并召募劲勇组织新军。时南徐、南兖等州侨民纷纷应募，刘牢之、何谦等“以骁勇应选”，谢玄以刘牢之为参军，领精锐为前锋，号为“北府兵”。为东晋劲旅，在淝水之战中大胜前秦军队。后刘裕倚之平定孙恩、卢循起义，进而北伐，并代晋而建立刘宋王朝。参见“北府①”。