经过一夜战斗，羊山集制高点全被我军控制，敌军只控制一些房屋，负隅顽抗。28日中午，宋瑞珂见阵地已被突破，指挥部也被包围，山上解放军的火力居高临下往他们头上打，认为继续战斗下去只能招致更多伤亡，决定放下武器，停止抵抗。参谋长郭雨林走出房屋接洽投降事宜，得到我方允许后，宋瑞珂及其部下在我军战士押送下向西走出羊山集，历时12天的羊山集战斗结束。
羊山集战斗是晋冀鲁豫野战军经历的最激烈、最残酷的战斗。羊山集原来是个千户人家的大集镇，战后没剩下一所完整的房子，到处是断垣残壁，墙上布满枪眼。院子里挖满了交通沟，门窗全被拆光。全村所有的树木被砍倒做了工事，粮食和牛羊鸡猪全被国民党士兵吃光。敌66师的顽强抵抗，超过了以往和晋冀鲁豫我军作战的任何一支部队，战斗中，陈锡联的3纵和陈再道的2纵都付出了重大牺牲。
（4）千里跃进大别山
鲁西南战役后，晋冀鲁豫野战军主力和华野外线兵团5个纵队，集结于巨野、郓城地区，形成强大的进攻态势，无论在战略上和战役上都处于主动地位。刘邓首长决心利用这一有利时机，让部队休整半个月，于8月15日南进大别山。