1939年4月，八路军第二次攻打邳县县城，时任支队组织科长的谢锡玉奉命去独立四营协助营长指挥战斗。进攻打响后，八路军从南、西、北三个方向同时发动进攻，谢锡玉亲自带队向最难打的北门进攻，并身先士卒，率先登城，极大地鼓舞了士气。战斗很快结束，打死打伤日伪军200余人，俘虏日敌军300余人，缴获许多枪支弹药。
1942年冬，日军聚集伪军两个师的兵力扫荡淮北，企图一举摧毁淮北刚刚构建的抗日民主政权和根据地。时任新四军四师二十六团政委的谢锡玉和团长罗应怀按照上级指示，留在淮北抗日根据地，利用运动战牵制日伪军。
谢锡玉带领二十六团依靠根据地实行坚壁清野，切断公路，阻挡日伪军机械化部队的前进速度，采取游击战，不时组成小分队四处骚扰日伪军。就在日伪军防不胜防之际，谢锡玉又集中兵力攻打泗阳县的青阳镇，杀伤了日伪军的有生力量，给予日伪军一记重拳。接着又按照旅部的指示，配合外线主力，攻打日寇在泗阳县的金锁镇的据点。
当二十六团急行军赶到泗阳县朱家岗一带，日伪军1500多人却连夜提前赶到，并将二十六团主力包围在朱家岗。面对着武器精良、物资丰富，人员数倍于我的日寇，谢锡玉和团部负责人冷静地对地形进行了分析，谢锡玉将兵力部署在曹圩、孙岗、张庄几个点，形成掎角之势，既可以联防，也可以共攻。
面对着武器、弹药、人员都占绝对优势的日寇，我二十六团全体官兵英勇无畏、同仇敌忾，与日寇血战了18个小时，击毙日伪军数百人，取得了朱家岗战役的胜利。后来，驻守在青阳镇、归仁集、金锁镇等地的日寇纷纷撤回徐州。日伪军对淮北抗日根据地为期33天的大“扫荡”以敌军的惨失败而告终。二十六团名声大振。
1943年2月，还在休整之中的二十六团又接到命令要尽快攻克洋河镇，摧毁日伪军在苏北的重要据点和进攻我军的重要兵力聚集地，缓解苏北、淮海根据地的压力。
谢锡玉和严光在详细了解日伪的兵力部署、地形后，以及以前兄弟部队从南面进攻常常受挫失利，而日伪军在南面防守甚严的情况后，决定在凌晨时分从东北、东南方向发动猛烈攻击新四军。攻入镇中心后，对敌军的碉堡实施火攻，把碉堡里的敌军烧死或窒息。经过5个小时的战斗，新四军以较小的代价歼灭日伪军400余人，拔掉了这个据点。陈毅在《新四军在华中》一文中对二十六团攻无不克战无不胜的作战能力，以及严守三大纪律八项注意的作风给予了高度赞誉。