1937年抗战全面爆发后，罗少伟所在部队在杨得志的率领下，出太行，过平汉线，挺进直南（包括现河北南部、河南北部、山东西部）、豫北地区，开辟冀鲁豫抗日根据地。1939年3月，六八八团与活跃在该地的中共抗日武装组建为八路军冀鲁豫支队，杨得志任支队长，崔田民任政治部主任，卢绍武任参谋长。罗少伟被编在一大队，开赴鲁西南开展游击战。罗少伟随部队活动，曾参加夜袭金乡城、袭击徐庄日军车队等著名战斗。由于作战勇敢顽强，罗少伟很快成为连长。
1940年，罗少伟随部队进驻山东曹县。此时，曹县韩村集驻扎着一支日军部队，四处烧杀抢掠，无恶不作。对日军的暴行，老百姓恨之入骨。冀鲁豫军区决心拔掉这颗“钉子”，为群众除害。罗少伟主动请战，要求完成这个任务，得到批准。
罗少伟随即派出侦察员，化装前往敌人据点周围，对敌人的兵力部署和地形等进行了侦察，并解救出一名从日军据点里逃出来的妇女。根据掌握的情况，罗少伟制定了一个“擒贼先擒王”的作战计划。
行动当晚，罗少伟带领部队乘着夜色秘密出发，很快来到村外。罗少伟让全连埋伏在村子周围，自己带领一个侦察班化装成老百姓，由被解救妇女带路，悄悄进入村子，来到设在村内地主大院的日军指挥部外。罗少伟指挥战士们消灭了敌人的岗哨，自己独自一人翻墙入内，蹑手蹑脚爬上日军指挥官宿营的房顶。他轻轻揭开瓦片，看到日军正在酣睡，于是把随身携带的集束手榴弹拉开弦扔进屋内，然后敏捷地一跃而下。只听一声巨响，集束手榴弹在屋内爆炸，正在睡梦中的敌人被炸得血肉横飞。手榴弹的爆炸又引发了室内存放的炮弹和炸药，爆炸声此起彼伏，火光冲天，敌人指挥部变成一片火海。埋伏在村外的战士听到猛烈的爆炸声后，立即冲进村内，和敌人展开激战。各处敌人失去了指挥，慌了手脚，很快被分割包围。经过一夜激战，八路军将村中100多敌人全部消灭，并缴获了大批武器弹药和军需物资。
此次战斗，首创了八路军在“鲁西南全歼日军据点的范例”。战后，军区司令员杨得志签署命令通报表彰，号召根据地全体军民学习罗少伟的英勇事迹。