1962年春天，台湾当局在东南沿海蠢蠢欲动，此时，中国西南边境也不平静。第二次世界大战后刚刚取得独立的印度，沿袭了原宗主国的做法，推行“前进政策”，不断越过实际控制线，占地设点，蚕食中国领土，并向中国政府无理提出大片领土要求，多次挑起边界冲突。中国政府依据和平共处五项原则和友好协商、互谅互让的一贯方针，多次提出通过谈判和平解决边界的建议，但是均遭对方无理拒绝。尽管如此，中国政府仍从中印友好出发，继续寻找和平解决中印边界途径，再三采取克制忍让态度，单方面采取了一系列非常措施。例如：在实际控制线本侧30公里内不开枪、不巡逻、不平叛、不打猎；在20公里内不打靶、不演习、不爆破。对挑衅滋事的入侵印军，总是先提出警告，劝其撤退，在劝告无效的情况下，才依照国际惯例解除其武装，经说服后发还武器，让其离去。印度当局将中国政府的忍让克制视为软弱可欺，得寸进尺，步步紧逼。到1962年4、5月间，印度当局趁人民解放军正在进行东南沿海备战的机会，进一步蚕食中国边境。针对这一事态的发展，毛泽东指示，对印军入侵绝不退让，力争避免流血；犬牙交错，长期武装共处。同时，为防备印度全面进攻，加强了战备。
“如果中央决定反击了，而我们却没有准备好，那我们就要变成民族罪人了。”
在这一形势下，总参谋长罗瑞卿大将派作战部一些干部到西藏边境地区去了解情况。临行前，罗瑞卿对作战部副部长说：“你们去看看，印军的蚕食活动停得下来吗？万一停不下来，怎么办？必要时该打还得打。你是作战部副部长，光讲让不行，人家会说你的二话！作战部不是退让部，我们要做好准备。但在毛主席下决心以前，一律不准开枪。如果中央决定反击了，而我们却没有准备好，那我们就要变成民族罪人了。”
作战部人员到达西藏边境地区后，了解到印军蚕食活动日益猖狂，把他们的哨所推进到解放军哨所的后面，对解放军哨所形成包围态势，指战员普遍对节节退让想不通。
罗瑞卿及时向毛泽东报告了前方的情况。1962年10月12日，印度政府扬言，要把中国军队从印度准备侵占的中国领土上清除掉，毛泽东终于下定了打一仗的决心。
10月18日，罗瑞卿起草了军委给边防部队的电报，指示：此次作战事关国威军威，务必初战必胜，只能打好，不能打坏。关于军事指挥工作，政治动员工作，后勤保障工作，务必精心计划，周密组织，切实做好。要不断教育参战部队的全体人员，务必兢兢业业，戒骄戒躁。千万不可轻敌，千万不能疏忽大意。随时记住毛主席的教导：战略上藐视敌人，战术上则一定要重视敌人。指示号召：上下一心，排除万难，英勇杀敌，争取全胜。
这一指示迅速传达到边防前线，为部队防备印军全面进攻，做好自卫反击的作战准备工作，并随之取得初战胜利起到了重要作用。10月20日，印军在中印边界东、西两段同时发起全面进攻。以西藏军区司令员张国华等组成的东段指挥部和以新疆南疆军区司令员何家产负责组成的西段指挥部奉命进行反击。
东段反击作战在西藏山南的克节朗、达旺地区展开，这里是第一阶段反击作战的主要方向，对此罗瑞卿倾注了极大的心血。从20日拂晓战斗一打响，他便时刻关注着东段战事的发展。担负东段反击任务的西藏边防部队兵分三路，右翼主攻部队在抢渡克节朗河后，经激战于当天把入侵枪等、卡龙、扯冬、绒不丢的印军及其据点全部清除；左翼助攻部队向沙则、仲昆桥、克宁乃桥的印军展开反击，并配合主攻部队扫除了克宁乃桥的入侵印军据点；迂回部队则泅渡克节朗河，翻越章多西北的大山，克服了原始森林山高林密气候恶劣等难以想见的困难，从密密的杜鹃丛林穿过，于当日午后驱除了侵占章多的印军。
当最后一份捷报传来的时候，下弦月已到中天，几天来夜以继日部署反击作战的罗瑞卿，在他住处临时布置的一间作战室里，看看战报，再看看墙上挂着的一比五万比例尺的军事地图，心情十分振奋。他拿起铅笔为总参谋部起草给西藏军区前指的指示：中央设想在克节朗地区战役任务完成后，我军稍事休整或不休整即乘胜夺占丘散谋、隆普之线，并准备随后攻取达旺地区。目的在于：（一）事实上不承认所谓麦克马洪线。（二）为中印边境谈判解决创造条件。这样做，可能还要打几仗，而且供应可能遇到更多困难。如能达此目的，好处会很大。
两天后，东段边防部队在全部清除了克节朗地区入侵印军据点后，先兵分四路，后改五路，向入侵克节朗地区的印军指挥机关和后方基地发起反击。
对《此次反击战役中要切实注意的几个问题》指示稿修改了十余处
10月25日，东段反击部队相继进占达旺及达旺河北岸，收复了克节朗河以南，达旺河以北，不丹以东，达旺以西被印军侵占的中国领土。
与此同时，在西段新疆的万河谷和红山头地区，新疆边防部队采用拔点攻坚的战术，对侵入中国境内的43个据点发起反击，从喀喇昆仑山到冈底斯山，转战700公里，至28日收复了拉多、巴里加斯等地，拔除了入侵印军据点37个，完成了西段的反击作战任务。
这期间，东西两段对印自卫反击作战的捷报频频传到北京总参谋部。罗瑞卿深为边防部队不怕困难、英勇牺牲所得来的胜利而激动，他指示有关部门，立即起草以军委名义发给参战部队的嘉奖令，并亲自修改。嘉奖令中特别表彰：参战部队及全体指战员，在高原严寒的困难条件下，斗志高昂，艰苦卓绝，勇猛善战，干脆地歼灭了敌人，取得了初战的伟大胜利……
同时，嘉奖令还告诫大家：印方“绝不会轻易放弃扩张领土的野心，我们还要准备连续作战，长期斗争”，直到印方“同意合理解决两国边界问题为止”。希望参战部队巩固已得胜利，及时总结战斗经验，戒骄戒躁，再接再厉，准备继续打击入侵之敌。
10月24日，中国政府发表声明，提出停止冲突，重开谈判，和平解决中印边界问题的3项建议。中国边防部队并于28日停止对入侵印军的反击。但是，印度政府不仅拒绝了中国的和平建议，而且继续策划扩大中印边境的武装冲突。
11月14日、16日，印军在边界全线再次发动进攻。11月16日，中国西藏、新疆边防部队奉命进行第二阶段自卫反击作战。
为了打好第二阶段反击战役，罗瑞卿将他修改了十余处的《此次反击战役中要切实注意的几个问题》指示稿送贺龙、聂荣臻审阅后，即发往西藏军区前指。指示指出：这一仗打胜了，打好了，印方有可能仍然不愿谈判，甚至采取更加极端的措施，表面上情况更加恶化，但在实际上还是好事，无非是再斗一个时期，最终还是会解决的，这是一方面。另一方面，也有可能逼使印方接受谈判的建议，从此使这一方在一定时期内安定下来，如果这一仗后即出现此种情况，歼灭敌人越多，则出现此种隋况的可能越大，则对于我们会是更加有利的。
指示扼要分析了第二阶段反击战役的意义后，再次谆谆告诫边防部队不可轻敌，要准备打硬仗和准备出现各种复杂困难的情况，指出：山地作战，特别是就达旺河以南地区或瓦弄地区的具体地形看，我们固然要力争各部队之间联络好，协同好，但也要准备相反的情况出现。因此每一个部队，每一个团、营、连、排、班、小组甚至个人，都要准备独立作战，都要有孤胆精神。避免打懵懂仗，但要打过硬仗。不管出现什么险恶情况，例如就一段时间说，或就某一个战斗地形说，敌人是多数，我们是少数，而且暂时同主力失去联系，或者我某些部队，攻坚受挫，伤亡较大，等等，但是，只要沉着、坚持，就一定会夺得战斗的最终胜利。
第二阶段自卫反击作战，仍分东西两段进行。东段作战主要是反击西山口——邦迪拉地区和瓦弄地区两个方向的入侵印军。至21日，西藏边防部队歼灭和击溃了大量入侵印军，拔除了印军据点，收复了被印军侵占的领土，进至金古底，逼近了传统习惯线。此时，印军已无险可守，中国边防部队处于有利态势。与此同时，西段的新疆边防部队至20日将侵入班公洛地区的印军全部清除。至此，中国边肪部队已在东段和西段粉碎了印军的全线进攻。
11月20日18时，中国政府做出了关于中国边防部队全线停火后撤的决定，并于11月21日向全世界庄重声明，宣布从1962年11月22日零时起，中国边防部队在中印边境全线主动停火。从12月1日起，中国边防部队将从1959年11月7日中印双方的实际控制线后撤20公里。
为了维护中印两国政府和人民的传统友谊，毛泽东在做出停火后撤的决策同时，要求将在反击作战中缴获的武器、车辆进行擦洗维修，其他物资进行整理包装，发还给印度。罗瑞卿坚决执行了古今中外战争史上从未有过的这一决策。当时，边防部队有些干部建议，把几部性能较好的山地汽车留下。罗瑞卿得悉后指示：不要留，全部发还。1962年12月中旬，所有缴获的武器、车辆及其他军用物资均开列清单，交还印度。对被俘人员，中方一律不杀、不打、不骂、不侮辱，生活上给予优待，受伤者给予治疗，还组织他们去一些著名城市、工厂参观。至1963年5月26日，将他们全部释放回国。
1963年2月中旬，西藏军区司令员张国华到北京向中央军委汇报中印边界自卫反击作战的情况。当罗瑞卿问张国华“这次打仗，有没有什么问题”时，张国华说：“总的当然很好，但也不是没有问题，并不是每一个团，每一个营，每一个连、排都打得好，也不是每一个指挥员都指挥得好。有的小分队，甚至有的团就出了一些问题。但是，当时对部队威胁最大的问题是轻敌。我到过许多连队，问到干部、战士印军有什么特点，都是异口同声地回答：没有什么了不起，一会跑，二会装死。部队普遍的说法就是这个。一句话：轻视敌人。在两次反击作战开始的时候，军委都曾经专门给我们打过电报，让我们不要轻敌。第一仗打响以前，军委指出，这一仗关系到军威国威，要求我们只准打好，不准打坏。第二仗，军委又来电报说，千万不可轻敌骄傲，骄傲就会犯大错误。军委这两个电报，对于两次反击作战的胜利，起了很大作用！前一个给了我们极大的鼓舞，后一个给我们敲了警钟，防止了部队可能产生的轻敌麻痹情绪。”如前所说，前一个电报是罗瑞卿亲自起草，后一个则经他精心修改达十余处。
向毛泽东汇报，引出毛泽东“撼山易，撼解放军难”名言
在谈到这次中印边界反击作战的特点时，张国华说：中印边界的斗争，是相当艰苦的，要同两个敌人作战：一个是当面的印军。这次同我们作战的印军是第二次世界大战时印军的“王牌”，是不能轻视的。印军的军官指挥不行，他们的单兵还是比较顽强的，能拼刺刀，也不是不能打冲锋，不完全是豆腐兵，不是一戳就烂的。另一个敌人，就是自然界，气候恶劣，高原严寒。这使罗瑞卿想起历史上的一次因自然条件恶劣而失败的战例。罗瑞卿说：第二次世界大战时，日军在阿萨姆地区和当时由英国人指挥的印度军队作战，曾吃过大败仗，10万人几乎全军覆没，很大程度上就是吃了自然界气侯恶劣的亏。我们部队过去也很少在这样恶劣的气候条件下作战，但这次反击作战既战胜了入侵印军，又战胜了恶劣的自然环境，同时战胜了两个敌人，这证明我们的军队保持了光荣传统，没有哪个敌人是打不败的。
张国华告诉罗瑞卿，在这次中印边界反击作战中，东段的西藏部队有180多个高中生放在连队里锻炼。原来对他们是比较担心的，但是这次他们都表现得很勇敢。
罗瑞卿高兴地说：“这回打仗，工农出身的战士固然打得很勇敢，很多知识分子，有的是大学生、中学生，也打得很勇敢，这说明我们这个以工农为骨干的军队，保证了共产党绝对领导的军队，由于政治思想工作强，吸收一部分青年知识分子参加到军队中来，是可以把他们锻炼和教育好的。”
在谈到中印边界反击作战的主要经验时，张国华非常兴奋，说：这次边境作战部队的表现好得很，简单地说，就是两句话：一不怕苦，从上到下没有叫苦的；二不怕死，前仆后继，倒下一个马上有人顶上去。这两方面的事例都多得很。
罗赞扬地说：“不怕苦，不怕死，这是非常朴素的两句话，这是我们军队的老传统了。我看有了这两不怕，其它一切也就都不可怕了。还有什么可怕的呢？”
2月15日，在陪同毛泽东会见柬埔寨西哈努克亲王时，罗瑞卿当面向毛泽东汇报了张国华讲的“两不怕”。毛泽东听了非常高兴，说：“是呀，过去岳飞讲文官不要钱，武将不怕死，天下太平矣！这句话有片面性，因为它缺了一面，好像文官不要钱，但是可以怕死，武将不怕死，却可以要钱。我们解放军则是文官既不要钱，也不怕死，武官既不怕死，也不要钱，这样岂不更好，天下岂不更太平！岳飞还有两句话：‘饿死不抢掠，冻死不拆屋’。就是饿死也不能抢劫，冻死也不能拆房子烤火。看起来，岳飞治军是有他的一套的。所以那时金兀术不怕别的，只怕岳家军。他说过：撼山易，撼岳家军难。”说到这里，毛泽东加重了语气：“谁要撼我们解放军，那就更加困难了。撼山易，撼解放军难！”
可以说，在历时一个月的中印边界自卫反击作战中，罗瑞卿作为总参谋长，把党中央、中央军委和毛泽东的指示融会到经过他亲自起草或精心修改的一封封电报中，贯彻到反击作战的每一个重要军事行动之中。为此，他尽职尽责，夜以继日，呕心沥血。前线的每一个行动，战况的每一点变化，都时时牵动着他的心。而前线的每一点进展，战役的每一次胜利和成功，无不蕴含着他的心血。