在今江苏铜山县东南古泗水(今废黄河)中。据《水经·泗水注》，泗水经吕县(今铜山县东南)南，水上有梁，谓之吕梁。其下巨石齿立，波流汹涌，故名。往来航行，视为畏途。东晋太元九年(384)，谢玄攻苻坚，既平兖州，患水道险涩，粮运艰阻，遂堰吕梁水，树栅，立埭，以利漕运。明嘉靖时加以修凿，运道始便。