1944年8月下旬，日伪军共1万余人，分13路对八路军山东滨海区进行“扫荡”。八路军滨海军区部队给“扫荡”之敌以沉重打击，迫敌于1944年8月29日开始撤退，分东西两路北撤博山、临朐。
9月1日，日伪军2000余人，由莒县分左右两路沿沂博公路撤退。八路军鲁中军区侦知敌人的行动企图后，立即调集二团、四团和沂山军分区第一、第十二团共四个团的兵力，设伏于沂水西北的葛庄和草沟地区。
9月2日，八路军主力一部将敌左路军800余人包围在草沟地区，歼其大部，残敌200人狼狈逃回莒县县城。
3日午后2时，右路日军450余人及伪军500余人，进入葛庄地区八路军的伏击圈内。设伏在该地区的鲁中军区一团首先发起冲击，敌人见八路军人数不多，便出动精锐，企图抢占村外制高点，从这里掩护大部队突围。八路军见状，立即派出部队抢在敌人前面占领制高点，击毙敌人50余人。不久，日军在两门山炮及轻重机枪的掩护下，再次发起冲锋。坚守阵地的八路军指战员沉着应战，并连续投入预备队发起反冲锋，击退敌人的5次进攻，敌人死伤惨重，只得败退下去，敌我双方形成百米距离的对峙态势。
八路军指挥员随即命令部分战士分数路隐蔽前进，秘密进至敌人后方。黄昏时，总攻开始。八路军先以集束手榴弹杀伤敌人，接着冲入敌阵，和敌人展开白刃格斗。仅用5分钟便将敌人打垮。
残敌向村外逃窜，却遭到事先埋伏在敌人侧后战士们的打击，只得退回。八路军从三个方向发起猛攻，将残敌压缩到葛庄西小岭头上。当晚，八路军参战各部实行“车轮战法”，连续向敌人阵地发起攻势，敌人死伤大半。激战至次日下午6时，敌人在飞机掩护下突围南逃，企图渡过沂河。八路军追到河边，用轻重机枪扫射正在渡河的敌人。敌人惊慌失措，将大部重武器丢弃在岸边、河中。
八路军乘胜追击，用手榴弹将渡过河的残敌截成两段，又消灭敌人50余人，并缴获敌人电台。
葛庄战役是八路军鲁中军区首次基本歼灭日军一个大队的模范战例。此次战役，八路军共击毙日军中队长以下300余人，俘虏日军31人，毙伤击溃伪军1000余人，俘虏伪军367人。值得一提的是，此次战斗中，八路军鲁中军区部队首次缴获了日军的重炮，此后便组建了鲁中军区第一支炮兵部队。此次战斗后，沂水县、莒县许多据点的敌人迫于八路军声威，仓皇逃走。