1944年7月，新四军第五师奉上级指示，组成豫南游击兵团北上抗日，很快打开了豫南抗日新局面。11月，豫南游击兵团奉上级命令，改编为河南挺进兵团。
1945年2月，河南挺进兵团按照上级指示，击溃盘踞在豫中地区的日、伪、顽势力，建立起以嵖岈山为中心的豫中抗日根据地。4月，豫南挺进兵团及各县武装合并，编为豫中游击兵团。豫中游击兵团纵横驰骋于豫中广大地区，取得了一系列胜利。
当时，位于西平县城以西的合水镇，设有日伪防卫西平、上蔡、遂平、舞阳4县的重要据点。该镇据点，西、北、东三面有河环绕，四周又有高大的寨墙，易守难攻，由伪“四县联防保安司令”率一个大队驻守，被日伪吹嘘为“铁打的合水”。1945年4月12日下午，豫中游击兵团指挥员收到中共西平地方党组织的情报，掌握了合水镇日伪的军事部署，并得知这天下午，西平、遂平、舞阳三县日军“指导官”和伪二师师长带领少数随从到合水镇“检验部队”。经研究，兵团指挥员决定派豫中挺进兵团二团消灭合水镇据点守敌。
二团接受任务后，立即制定了作战方案：团政委邵敏和作战参谋陈佑铭率领5个连围攻合水，团长林国平率部分兵力和地方抗日武装在合水东、南两个地方警戒西平县城和遂平之敌。
13日凌晨5时许，二团参战部队秘密完成了对合水镇据点的合围。当攻城部队接近寨墙时，被寨墙炮楼上的伪军哨兵发现。参战部队遂改为强攻。在火力掩护下，二团机枪组立即开火，压制寨墙上的敌人火力；突击队迅速架起云梯奋勇登上寨墙，用手榴弹消灭了岗楼里面的敌人。接着，突击队战士迅速跳下寨墙，在击毙守卫东门的敌人后一举打开了寨门。等候在镇外的后续部队立即冲入镇内，消灭了镇内工事里的敌人，并逐步将残敌压缩至镇公所。不久，镇公所里的残敌在伪二师师长的带领下，全部举手投降。
在新四军战士搜索乡公所周围时，发现日军“指导官”带着手下躲在一个草垛里。新四军战士在劝降无果后，遂掷出手榴弹，把他们当场击毙。伪“四县联防保安司令”化装逃进一个药店里，企图蒙混过关，也被新四军战士搜出擒获。黎明时分，新四军在破坏据点后，押着俘虏胜利撤出了合水镇。
此次战斗，新四军仅用两个多小时，便攻克了合水据点，全歼伪军一个大队，击毙日军指导官及其随从，俘虏伪二师师长、伪“四县联防保安司令”以下100多人，缴获长枪300余支、手枪10余支、机枪8挺，而新四军仅1人受伤。