1927年3月，为配合北伐军作战，冯玉祥率领20万大军向鄂、豫、晋、绥4省开拔，一路冲杀，所向披靡，经过3年的苦战，冯玉祥与北伐军会师中原的计划即告实现。
郑州会议上，冯玉祥不同意“讨蒋”，而是规劝“息争”；蒋介石被逼下野，冯竭力呼号，拥护蒋复职领军
中原会师后，冯玉祥统辖豫、陕、甘三省，虎踞中州战略要地，控制了京汉、陇海两铁路之交叉口，其军事实力和所处战略地位，形成举足轻重之势。武汉汪精卫集团为了解决面临的政治、经济上的严重困难，决定和冯玉祥举行郑州会议。目的主要是“拉冯”以“讨蒋”、“反共”。会议在“分共”问题上“取得了一致看法”，但冯玉祥不同意“讨蒋”，而是规劝“息争”，主张宁汉联合继续北伐；会上亦未提出任何制裁蒋介石的议案。
郑州会议后，蒋急于了解冯对南京政府的态度，特致电冯玉祥，要求在开封会晤。冯回电要蒋改约地点相会。冯于6月16日到开封后致电蒋：“弟于早七时安抵开封，专候我兄晤谈一切，未知大驾现在何处？请即飞电指示，以便早日趋候。”此后，冯蒋又来往函电多次联络，最后才确定在徐州会晤。
冯玉祥从郑州乘火车赴徐州。车过砀山，距徐州还有一站，蒋介石迎接冯的专车赶到。当冯的花车缓缓进入月台，一时军乐大作，欢迎人员在国民革命军总司令蒋介石率领下，整肃衣冠，排立月台上，然而出入意料，冯所乘的是“花车”后装运行李货物的“铁皮车”，只见他站在铁皮车门口，向欢迎者招手，人家才知道这位大汉是冯总司令。
6月20日，徐州会议正式开始，会址设在花园饭店。吴稚晖主持会议，主要讨论党务、目前政治建设、对于共产党之办法、继续北伐、关于武汉政府等问题。会议开了两天，最主要的要算双方达成的联合“清党”和继续北伐之协议。会议第二天吴稚晖代拟一电稿，经再三修改后，由冯署名发出，即《劝汪谭诸氏速决大计电》。电文内容主要三点：即反对工农运动，反对阶级斗争，敦促汉方加速分共；宁汉合作；继续北伐。
1927年8月，中共领导了“八一”南昌起义，宁汉双方在反共前提下，党争暂时缓和。冯玉祥致电宁汉双方建议召开国民党二届四中全会，结束党争。但汉方仍以蒋下野为宁汉合作的主要条件，宁方桂系由于对蒋不满愿与汉方妥协，逼蒋下野。8月13日，蒋离宁赴沪。14日，在沪发表下野宣言。
蒋下野后，最积极请蒋复职的就是冯玉祥。冯得知蒋下野初期，致电蒋介石称：“我兄一身，系党国安危，为民众之救主。务请克日还宁，主持大计”。9月25日，他再次致电请蒋复职，表示“非蒋复职，无以唤起军心，北伐更谈不到”。11月中旬，冯玉祥分别致电熊斌、孔祥熙转请他们早日求蒋出山，称：目前战局，连兵数十万，战线四五千里，对于军令上下不统一，势如一盘散沙，余盼望者，蒋公克日出山，诚以中枢军事，须有才望如蒋公者，主持其间，则全局呼应，处处皆灵，而不致为敌人各个击破也。”12月1日，冯又致电蒋称：“自蒋下野后，党事军事日益纠纷，二者比较起来，军事更为紧急。为今日计，惟盼召兄东山即起，主持一切，各方军骋有统一办法。”12月2日，冯又致电阎锡山，请一致拥蒋复职，称：“拟约吾弟，一致推戴介石同志复出，我辈听其指挥”。
11月间，蒋介石从日本回到上海。12月上旬，召集国民党在沪部分委员开四中全会预备会议。1928年2月2日，在南京召开了国民党二届四中全会，会期5天。会议决定：恢复蒋介石国民革命军总司令职，改组国民党中央委员会，改组国民政府，改组军事委员会，以蒋介石兼任国民党中央政治会议主席和军事会议主席。从此，党、政、军大权都落到了蒋介石手中。这次会议作出了继续“北伐”的决定。
冯玉祥与蒋介石江湖结义，彼此称兄道弟．互结同心；蒋惧日想放弃北伐，冯玉祥激烈反对，两人思想出现裂痕
1928年2月9日，蒋介石到徐州，整顿军队，电邀冯玉祥、阎锡山等到徐州开军事会议。冯、阎只派代表出席。蒋感到拉冯最关紧要，于2月16日，屈驾前往开封与冯相会。17日检阅了冯的军队。由老将马福祥建议，18日，蒋、冯在郑州交换兰谱，“义结金兰”，“以示同心同德，生死相共之义”。冯玉祥写的帖子是：结盟真意，是为主义，碎尸万段，在所不计。蒋介石写的帖子是，安危共仗，甘苦同尝，海枯石烂，生死不渝。冯比蒋大五岁，蒋称冯为大哥，冯也以兄长自居。在这里，他们还商定了“声西击东”的作战方针，在彰德、大名及山西方面，均取守势；先集中优势兵力，解除山东方面之敌。用于东线山东战场的部队，有第一集团军的4个军，第二集团军的5个军；用于西线河北战场的有第二集团军4个方面军，用于北线山西方面的有第三集团军。
4月初，“北伐”各军调齐，蒋介石至徐州，冯玉祥至兰封，约定以微山湖为界，刘峙、陈调元两部在湖东地区作战，由蒋直接指挥；贺耀祖、方振武、孙良诚、马鸿逮等部在湖西作战，由冯玉祥指挥；4月10日全线总攻。4月20日，冯约蒋会晤于野鸡岗，将前线各军重新作了部署。各军均以济南为目标，于4月26日开始攻击。27日占领泰安，又连克界首、张夏等隘，直鲁、孙传芳军北溃，4月31日退出济南。“北伐”军各部于5月1日占领济南。日本帝国主义看到它所支持的奉鲁军阀即将崩溃，便调遣大批日军到胶济路一带。在蒋、冯联合继续“北伐”时，更以重兵驻济南。“北伐”各军占领济南时，日军借保护侨民，在商埠一带布满哨兵。5月3日，借故向“北伐”军挑衅，用重炮轰击济南城。交涉署特派员蔡公时前往交涉，亦被日军处以极刑，交涉署全部职员，均遭惨害。当时，前敌各将士义愤填膺，欲与日军死拼，而蒋介石借口如与日军冲突，则“北伐”大业必然中断，不准抵抗。5日，冯玉祥到达党家庄，坚决反对对日妥协。6日上午，蒋与冯在党家庄清真寺举行会议。会上，蒋提出放弃“北伐”与奉张划江而治，与会者多数人不同意蒋的意见，冯玉祥更是激烈地反对蒋介石放弃“北伐”的主张，坚决要求继续“北伐”。蒋介石无可奈何，自称需返南京主持党政事务，将第一集团军作战事宜一并交由冯玉祥统一指挥。
冯玉祥急令方振武、贺耀祖、孙良诚渡过黄河，以方为总指挥，贺、孙副之，追击前进，限期攻克德州。方、贺、孙部于17日攻下德州，直鲁、孙传芳部节节败退，济南方面的安全，才有了保障。
在京汉线方面，4月6日，冯令鹿钟麟为北路军总司令，以孙连仲、郑大章，宠炳勋、刘镇华、韩占元等部，分别向磁州、大名出击，奉军全线溃退。孙传芳看到大势已去，于6月3日通电下野；张作霖于6月2日发表出关通电，于孙传芳下野的当天夜间离开北京，逃回东北。
5月30日，蒋介石到石家庄同阎锡山会晤，秘密达成了一桩政治交易，即蒋将京、津和河北省的军政大权交给阎，以换取阎对蒋“统一”领导的支持。6月2日，蒋又返回新乡与冯会晤。蒋借口列强各国对冯无好感对阎有好感，宜由阎接收京、津地区。冯表面上同意蒋的安排，但内心极不愉快。蒋虽已要阎接收北京、天津，但冯却认为自古以来攻城掠地总以“先入关者为王”。因此，冯急令韩复榘自彰德率两万人，兼程“追击敌军”。韩部仅3昼夜徒步行程4CO公里，于6日，完全占领南苑，北京市各界代表前来欢迎。这时阎部尚未到达。蒋介石急电称外交使团抵制第二集团军，严令韩部不许入城。8日，阎部赶到北京。10日，阎抵北京，就任平、津卫戍司令。到此时为止，北洋军阀的最后一个政权覆灭了，尚存在于东北的奉系政权，履于地方性的政权。南京中央政府宣告了完成“统一”。国民党政府4个集团军的联合“北伐”，至此基本结束。
北京裁军善后会议，冯与蒋大唱反调；蒋骗冯到南京供职，削弱冯部实力，采取以阎制冯策略，两人矛盾逐渐明朗、尖锐化、公开化
在蒋桂阎冯四派联合打倒北洋军阀的全过程中，冯军最强，承担了两个主战场的作战任务，付出的代价最多，起了主力军作用。阎部最弱，兵力不过几万人。桂系投入战场较迟，投入的兵力也少。蒋介石为了制止冯部力量的增长，采取了以阎制冯的办法，将接收北京、天津的大权交给毫无战功的阎锡山。冯部经五原誓师，转战千里，历尽艰辛，打到了北京城下，蒋不准他们入城。他们仅分得北京特别市长和崇文门税局一所之职，每月收入约20万元，这对拥有40万大军的冯部来说，有如杯水车薪，无济于事。对此，冯表面虽未表示不同意见，内心却愤愤不平。
6月下旬，国民政府正式通过设立裁兵善后委员会，并决定于北京召开善后会议。冯玉祥托病复电不来参加。冯此时坐拥重兵，虎踞西北陕甘各省和中原河南四战之区。他的消极态度不仅使蒋面子上极为难堪，而中央政令在全国即将统一之时，遭受极大的阻力，尤损威信。蒋请李宗仁居中调处。李宗仁也认为冯的埋怨心情，情有可原。但又劝冯顾全大局，扶病北上，参加善后会议。冯复电李，同意参加。7月6日，到会大员齐往西山祭奠中山灵后，参加阎锡山宴会。席间，蒋介石讲话称北伐告成，诸同志相聚一堂，非常欢慰。冯即席发言与蒋大唱反调，他说：“蒋总司令谓今日事大快乐，余则不胜悲痛。余以革命尚未成功，其证有三：第一，不平等条约尚未废除，不平等条约一日不除，即革命一日未成；第二，旧军阀之残党，尚未完全消灭，今天仍将打倒反动；第三．各军裁兵，未见实行，多养一兵，即使人民多所负抱。
当晚，国民党军政要员在碧云寺旁李石曾住宅开座谈会。与会的有蒋介石、冯玉祥、阎锡山、李宗仁、李济深、蔡元培、张静江、李石曾、吴稚晖、李烈钧、戴季陶11人。这就是汤山军事善后会议。会议开了4天，毫无结果可言。最后，大家同意先成立编遣委员会，再继议裁兵。
会后，军委会参议杨永泰向蒋献“削藩策”：以经济方法瓦解第二集团军；以政治方法解决第三集团军；以军事方法解决第四集团军；以外交方法对付奉张。蒋介石采纳杨永泰的建议，取消各地的政治分会，集权于中央，实行“调虎离山”和“离窝毁巢”之计，即请各集团军首领到中央任高官，以夺其兵权；遣散各实力派赖以安身立命的军队，由中央统一整编全国军队。
8月8日，国民党二届五中全会在南京召开。会上，蒋介石极力主张取消政治分会，因李石曾、张静江等元老派和地方实力派冯玉祥、李济深反对，政治分会暂时保留下来。五中全会通过了实行五院制的决议案，推选蒋介石为国民政府主席，谭延闽为行政院长；成立了编遣委员会，通过了整理军事案，准备裁减全国兵员。任命冯玉祥为军事部部长，阎锡山为内政部长，李宗仁为军事参议院院长，并要冯、阎、李三人长期驻南京。实际上是要这三位实力派首领长期脱离他们的军队。这正是“调虎离山”之计。
蒋知道冯喜欢受人吹捧，爱听恭维的话，于是就投其所好说：“希望大哥首创入京供职，以后中央的事，我当一切听大哥的，只有大哥先到南京供职，阎、李不敢不来，大统一的新中国等于是大哥造成的！”并向冯保证：“大哥只要到了中央，绝对办到一律平等待遇，第一集团军吃什么，第二集团军也吃什么！”并随即补助冯部一部分军饷。蒋的甜言蜜语加上补助军饷，使冯就范了，按受了行政院副院长、军事部部长职务，升到南京供职。蒋将冯骗到南京后，便不肯实行诱骗时的诺言。蒋、冯矛盾逐渐明朗、尖锐化了。
1929年1月1日全国编遣会议开幕。会议开始后，到会成员相继发言，冯的提案被否定，冯怒气冲冲地走出会场，称病请假，派代表出席。通过这场编遣会议的纠纷，使冯看到想通过与蒋合作，求得保存实力是不可能的。在宁期间，从李烈钧处得知关于蒋排斥冯的种种阴谋，并述山东方面蒋暗中对第二集团军多方扼制。这时，冯才认识到蒋的阴险用心，并感到迫害的箭头已经指向自己，怒不可遏，急欲离宁，李亦认为冯长住宁，凶多吉少。冯遂于2月5日以养病为名，离开南京，6日凌晨3时抵达开封。蒋冯间的矛盾公开了。
冯玉祥兴兵讨伐蒋，冯的心腹背叛他投靠蒋介石，讨伐不战而败；冯被革除一切职务，永远开除党籍
编遣会议后，蒋介石对冯秘密推行四项措施：第一是收买冯部下的主要将领，如韩复榘、石友三；第二是通过特务机关制造谣言攻击冯，挑拨冯与阎的关系；第三是制定对冯的作战计划，并进行军事部署；第四是诱骗冯到南京“就职”，加以软禁或扣押。
这时，冯已清楚看到，冯蒋之间兵戎相见已是无可避免了。5月19日，冯在陕西华阴县召开军事会议，列举蒋的4大罪状，(1)党务方面，蒋私自圈定和指派国民党“三大”代表，违反党章；(2)日本占领济南，为我国奇耻大辱，日本既决定如期撤军，蒋竟然反请其延期，丧权辱国，没有比此更严重的了；(3)各军待遇不平等，且挑拨离间，拆散革命战线；(4)豫、陕、甘灾情严重，蒋氏不问不闻，反将丰台、保定、徐州等处赈粮，悉数扣留，坐视并加速灾民饿死。因此，不能不兴兵讨伐。冯以“护党救国”为旗号，自任“护党救国”军西北路总司令。
华阴会议后，孙良诚等将领，服从冯的命令，遵照冯的战略计划，迅速率部队由东向西撤。但万万没有想到，就在这关键时刻，他的心腹将领韩复榘、石友三接受蒋的重金，被蒋收买，背叛他投靠蒋介石了。5月22日，韩复榘将20师集中于甘棠附近，联合石友三由洛阳发出“养”电，声称“维持和平，拥护中央”。次日，又致电表示拥蒋。蒋接电后，惊喜若狂，当即复电嘉奖，并许所有驻陕、甘部队概归韩指挥，立即送现款500万元作为犒赏，任命韩为河南省主席；把列名于韩的通电中的石友三委派为安徽省主席，讨逆军第十三路总指挥，送去30O万元；马鸿逵为第十五路总指挥，也送去30O万元。23日，蒋主持的国民党中央常委会决议，革除冯玉祥一切职务，永远开除党籍。24日，南京政府国务会议决定，下令查办冯玉祥。25日，蒋又用国府命令讨伐冯玉祥。
冯玉祥得知韩、石倒戈，沉痛无比。他日夜哭泣，咒骂自己，打自己的嘴巴。从此，冯军集团声威大落，虽然其他嫡系头目没有继续叛变，但冯对自己部队的信心，没有从前那样坚强，而感到困难重重了。
5月26日，韩正式就任蒋委任的西北军总指挥职。在冯、蒋两军间隔着韩、石军，这两支新叛离冯部的部队，不敢与冯部作战，战事遂告中断。5月27日，冯通电下野入华山，从此入山读书。蒋、冯战争的第一回合到此暂告结束。
由于阎锡山反复无常，“中原大战”前功尽弃，能征善战的几十万西北军全部瓦解
1930年3月14日，冯抵达潼关，同日，二、三、四集团军将领57人，发表请蒋下野的通电。15日，通电推戴阎锡山为中华民国国军总司令，冯玉祥、李宗仁为副司令。
4月6日，南京中常会议议决永远开除阎锡山党籍，同时发布《告第三编遣区武装同志书》。“中原大战”正式开始。战争开始后，反蒋联军连连取胜，冯部占领洛阳、郑州、开封，基本控制了河南局势。陇海东线蒋军攻势很猛，且有空军配合，反蒋联军一度陷于被动。但冯玉祥派孙良诚、吉鸿昌两部猛攻蒋军精锐陈诚部，陈部死伤很大，激战十余日，蒋军全线动摇。8月初，冯玉祥为了减轻蒋军在津浦线对晋军的压力，争取全局主动，组织了大规模的8月攻势。冯通电各将领强调：“本破釜沉舟之决心，与敌作最后之角斗。”亲自坐镇博爱村指挥全局。冯军一连奋战7昼夜，蒋军岌岌可危。但时逢夏季，连日大雨不停，士兵疲劳过甚，给养困难，阎又违背前约，不供应军火和给养，攻势受阻，未能给蒋军以重大杀伤。
正当冯军作战条件十分艰苦、处境艰难时，蒋介石方面的韩复榘部因蒋光鼐十九路军的有力助战，于8月中旬从晋军手中夺回济南。晋军退向黄河北岸，接着又退到山西境内，蒋介石得以从津浦线抽出兵力用于河南战场。而且把进攻重点放在平汉线上，进扰陇海西段，威胁冯军后方，截断冯军后路。从此开始，蒋方全局处于主动地位。9月6日，蒋军开始总攻，冯坐镇民权村，沉着指挥各路军退却，还盼望阎给予协助挽回被动。但阎为了保存自己的实力，早已密令陇海线晋军全部退到黄河以北，使冯军孤立难支。
反蒋联军形势急转直下。10月14日，晋军已逐步退入娘子关，不作任何抵抗。在这种形势下，冯玉祥决心缩短战线，集中兵力，固守郑州。不料吉鸿昌被蒋介石收买，委以河南省主席，首先倒戈。而梁冠英、张印湘等通电附和。张维玺指挥的南路军8万精锐部队遭蒋军包围。河南军事陷于不可收拾之境地，不能不全线退却。10月下旬，战争基本结束。蒋介石坚持要阎锡山、冯玉祥、鹿钟麟下野。冯玉祥隐居在绛县，不久迁到汾阳峪道河山村隐居。至此，冯玉祥经营历时20余年、能征善战的几十万西北军全部瓦解。
淞沪抗战，冯要求带兵前往，蒋汪无动于衷，冯愤然上泰山闲居；成立抗日同盟军，冯被推举为同盟军总司令
1931年12月，在全国抗日反蒋浪潮中，蒋介石被迫下野。冯玉祥得知这一消息后，惊喜不已。蒋下野后，冯连续收到胡汉民、孙科、邹鲁等电，邀冯与阎锡山出席在南京召开的国民党四届一中全会。18日，冯从峪道河起程到汾阳县城，22日乘车往太原。此时，国民党四届一中全会正在南京召开，冯对这次会寄予幻想。25日一天之内议定了三个提案，均以“十万火急”电报发出：主要提出“实行武装收复东北失地”；建立“民众组织，监督政府及军事机关并各地军队”，奖励历年在革命诸战役及抗日战争阵亡及有功之官兵，以坚定官兵信念。26日离太原到南京。他不了解汪精卫邀他到南京开救国会议的目的不是救国，而是借此夺取权位。
1月20日，日本特务在上海寻衅闹事，联合日侨烧毁三友实业社，捣毁四川北路中国商店。22日，李济深、冯玉祥为此事见蒋、汪。蒋大谈广东如何不与南京统一的问题，而汪对日本滋事问题不表态。冯这时才认识到汪不是革命党人的态度。通过这段接触，冯已看出南京政府决做不成一件好事，遂打算离开南京，不与蒋、汪为伍。
1月28日，驻上海的第十九路军，在蔡廷错、蒋光鼐等爱国将领指挥下，不顾国民政府的阻挠，坚决抗击日军的入侵，打响了闻名中外的淞沪抗战。冯称赞十九路军的英雄，“实抗日之先锋队也！”兴奋之情，溢于言表。他大声疾呼：赶快派遣军队前往应战，全国各方大力支援，保证淞沪抗战能坚持下去，由此打开中国抗战的新局面。他与李济深等为淞沪抗战问题致电国民党留沪中委：“请以最大之决心，共谋长期之抵抗”。冯一次又一次地呼吁抗战，蒋、汪、何等无动于衷，冯又致电蒋汪，应许他带领军队上前方打仗杀敌。他的请战电文又如石沉大海。冯焦急万分，他不明白：为何不抗战？为何不援助十九路军?3月初，日军进占闸北，十九路军忍痛撤离上海。江山的破碎，国土的沦丧，使冯玉祥五内俱焚，在徐州病倒了。3月17日，他以特急电致李济深道：“唯有迅速辞去一切，以谢不敏耳！”当他得知蒋、汪政府决定与日本帝国主义签订淞沪协定时，认为这是中国的奇耻大辱！他在日记中写道：“丧权辱国之事我必反对！坚决的反对！即或病愈，亦不到南京去！”冯在报国无门的情况下，于1932年3月23日离开徐州，愤然前往泰山。
冯玉祥闲居泰山期间，他广结聪明派代表与反蒋实力派联络全国各派系的代表，也经常到泰山活动，一时泰山之巅成为抗日反蒋基地。
8月21日，日军大举进犯热河，占领南岭，宋哲元被南京政府任命为察哈尔省主席。冯决意离开泰山转到抗日前线察哈尔暂住。
1933年1月1日，日军侵犯山海关，东北军守军伺柱国部奋力抵抗，打响了长城抗战的第一枪，但终因孤军无援，使山海关失守。山海关为日军占领，全国震惊，许多爱国人士、热血青年、群众团体，都寄希望于冯玉祥。4月3日至22日，全国民众救国联合会等爱国团体，纷纷函电冯玉祥，请求树立抗日大旗，率领抗日志士奋勇杀敌，挽救国家危亡。时不我待！要他义无反顾。
但蒋介石、汪精卫、孙科等对冯以武力抗日的举动，十分恐慌，屡电冯进京。3月中旬，蒋介石驻保定，派员请冯到保定会晤，冯提出五条意见：(1)不可与日妥协；(2)补充前方饷械、弹药；(3)抚恤伤亡官兵；(4)请蒋大军出关收地；(5)政治刷新，与民更始。3月24日，孙科再次电冯到保定晤蒋，次日冯电孙：五条意见如蒙采纳实行，则不独赴保，即任何驱使，亦不敢辞。冯玉祥在与南京周旋的同时，加紧组织民众抗日同盟军，派出亲近人员多人代表他去各地联络。山西汾阳军校系冯旧部，3月16日，冯令该校校长支应遴，率领汾阳各队，早日北来。4月底，经过长途行军，全校师生3000余人，如期到达张家口。到5月中旬，冯筹建的抗日同盟军，已初具规模。
5月1日，多伦失守，24日沽源沦陷，日军已进入察省腹地。各地人民热烈希望冯玉祥出面组织抗日军队。5月26日，齐集张家口的各军、各地区、各人民团体的代表商议组织民众抗日同盟军，推冯为总司令。冯于当日发表通电，宣誓就职。6月20日，冯乇祥统率大军北进，收复察东失地。6月22日，攻克康保城。7月1日，光复宝昌。同曰，刘桂堂在沽源通电反正，耕任民众抗日同盟军第六路军总指挥。同盟军大军直指多伦。多伦为察东重镇，日军茂木骑兵旅团3000多人和伪军李守信部驻防，城外建筑32座炮台及各项坚同工事，并有飞机助战。吉鸿昌亲率敢死队，赤膊匍匐前进，爬城3次，均未奏效，战斗剧烈，伤亡惨重。冯玉祥向前线发出以死报国电，称：“今日之事，进则俱生，退则俱死”，“为国而死，虽死也荣”，愿“与将士共勉之”。7月12日，吉鸿昌派精兵潜入城内，里应外合，又经过了3个多小时的巷战肉搏，方将残敌击败。失守72天的多伦，终被同盟军光复。冯玉祥指挥全军将士乘胜前进，察东被日伪占领的各县完全收复。这次战役，击毙日伪军1CCO余人，抗日同盟军也伤亡1000多人。
正当同盟军奋力为收复东北四省流血牺牲之际，蒋介石、何应钦调集16个整师、15万余人，在铁甲车、飞机的配合下，包围张家口，封锁平津线交通。7月28日，蒋、汪向冯发出四项最后通牒电。7月31曰，冯回电一一驳斥后表示：“如中央严禁抗日，抗日既无异于反抗政府，则不但军事可以收束，即科我以应得之罪。亦所甘心。”“祥自兴师抗日，迄今已六十七日矣，究竟赤化察省与否，与确保察东失地与否，事实俱在，容有见谅于国人者。”
冯玉祥为了不使察哈尔省落于蒋介石、汪精卫之手，引起旧部对他的不满，多次电请宋哲元回省主政。遂于8月14日乘火车离开张家口，又“闲居”泰安。
蒋介石对冯玉祥玩弄假慈悲，感动了冯真心拥蒋；继采用抑冯的手段，致使冯有职无权，指挥失灵，战场失利被免职
1935年11月1日，冯玉祥离开泰山乘专车抵达浦口。住下后，蒋介石、林森随即拜访。晚上，蒋介石在陵园四方城寓所设家宴，为冯接风洗尘、谈话诺诺连声，彬彬有礼。当晚，冯住蒋介石家中。2日至6日，冯出席国民党四届六中全会，被指定为宪法草案审查委员会委员、提案审查委员会政治委员。11月12日至23日，国民党召开五届大会，冯亦出席，被大会选为五届中央执行委员。在12月7日召开的国民党五届一中全会上，冯又当选为中央常务委员。冯到南京后，几乎与蒋介石朝夕相处，共商国事，气氛之和谐融洽，可谓空前。冯提出的问题，蒋介石都一一应允，对冯问寒问暖，毕恭毕敬。冯心里很高兴。他在日记中赞道：“蒋先生所答之话，最为谦下，最为和平，最为诚恳，我极为满意，以为此次并未白来也。”初到南京的10天中，蒋宴请冯5次，平均每两天一次。冯玉祥被蒋介石的假慈悲感动了，他忏悔道：“是灰热似土，这话一点不假，为国相忍，只看见日本人之混帐，不看见自己兄弟之过错，便是我的学识大进步，否则，仍是愚昧无知之人。”
1935年12月15日，冯玉祥被国民政府任命为军事委员会副委员长。1936年1月6日就职。蒋介石还在南京大行宫头条巷设副委员长办公厅。冯玉祥为蒋介石的虚情假意所蒙骗，竭力促进国民党内各方反蒋势力服从蒋介石。他以个人名义致电给胡汉民、李宗仁，以及他的旧部宋哲元、韩复榘，说明蒋介石诚心抗日，要他们服从中央，勿生他虞。6月初，陈济棠、李宗仁、白崇禧联名电蒋，“迅予颁军号，明令属部，北上抗日。”6月8日，西南联军进入湖南祁阳、郴州境内，蒋军又于6月10日占领衡阳，双方均急速调兵遣将，战云密布，一触即发。冯为制止内战再起，马不停蹄，四处奔走，竭尽全力劝解，终使事件和平解决。蒋介石电冯感谢，称“吾兄苦口劝导，终以完成团结，党国是幸，不仅私衷感慰已也”。
1937年“八一三”淞沪抗战爆发，冯玉祥被任命为第三战区司令长官。冯于8月15日在苏州就职。16日，冯赴上海郊区的南翔指挥作战。但前线指挥官表面敷衍冯，实际上事事请示蒋介石，将冯的指挥权架空。9月，平、滓沦陷，蒋介石划津浦线为第六战区，任冯为六战区司令长官。9月12日，冯奉命由无锡行营回南京，13日北上，17日在沧州桑园就任第六战区司令长官职。津浦线上的军队大都是西北军旧部，蒋一面想利用冯对西北军的旧关系，阻挡日军南下，另一面又害怕冯重新掌握对旧部的指挥权。蒋在任命冯的同时，又命一战区总参议萧振瀛先冯北上，一路宣扬：“拒绝冯玉祥，罢免张自忠，推倒宋哲元，拥护冯治安”，挑拨离间，损害冯的威信，致使六战区的军队不服从冯的指挥，战场失利，冯被追南撤。10月20日冯回南京被免职，第六战区取消。
蒋介石制造内战，冯玉祥决定出国．蒋逼冯离开军界；冯在美国开展反蒋活动，激怒了蒋介石，串通美国政府，驱冯出境；离美绕道苏联回国，不幸遇难
1945年8月，日本帝国主义宣布无条件投降。毛泽东、周恩来、王若飞应蒋介石邀请赴重庆谈判。经过1个多月的协商，双方签订了“双十协定”。冯玉祥眼看多年来为之奋斗的国共友好合作即将实现，从心底里感到振奋和欣慰。
但不久，蒋介石撕毁《协定》，命令国民党军在华北、东北战场进攻八路军和解放区。1946年初，蒋介石破坏政协决议，接连制造沧白堂事件、校场口事件、下关事件，镇压群众，迫害民主力量。冯玉样实感难以在国内呆下去，遂决定出国远行，向蒋介石提出到美国考察水利。蒋介石批准冯以“水利特使”的头衔去美，同时又指使国防部不经冯本人同意，即按抗战后所下的复员令，使冯办了退伍手续，逼冯离开了军界。
1946年9月2日，冯玉祥在上海乘船赴美国。行前，他于8月26日，以临别赠言的形式上书蒋介石，晓以大义，劝他停止内战，实现和平民主。他说：“今日大局以和平为天经地义，国际要和，国内要和。和了一切有办法，打了必有至痛至惨之结局。”9月2日下午4时，冯等乘美琪将军号轮离开上海。
1947年5月4日开始，北平、天津、上海、南京各大城市的学生，展开了声势浩大的爱国民主运动。蒋介石发表“整饬学风，维持法纪”的谈话，国民党军警对反内战、反饥饿的游行示威学生，进行血腥镇压。冯玉祥得悉后，于5月26日就国民党军警特务打死打伤请愿学生的法西斯暴行，在旧金山《世界日报》上发表了《告全国同胞书》严正指出：“这是彻底地反叛行动”。冯玉祥大声疾呼：国民党政府“若不马上改悔，马上对大众认错，彻底和平，中华民国的国格，赣要向下落。”《告全国同胞书》的发表，是冯玉祥公开反蒋独裁斗争的开端。
10月10日下午，冯玉祥在纽约一旅馆举行了记者招待会，向舆论界公开表明了他反对蒋介石独裁、反对美国扶植蒋介石打内战的态度和决心。他指出，中国人民对于贪污腐败、惨无人道的蒋介石独裁政府，已不再存一点好感。任何国家支持它，都会引起中国人民的愤慨。他希望美国政府不要再干涉中国内政，不要再以任何足以增长中国内战的物资接济独裁政府。冯讲完话后，一位美国记者问道：你这样讲话，不怕蒋介石谋害你吗？冯微笑答道：“我如果怕死，就不这样说了。”记者们为冯的勇敢坚定精神所感动，爆发出一片热烈的掌声。
冯玉祥一系列反蒋活动激怒了蒋介石。他开始采取组织措施，迫害冯玉祥。1947年12月27日，冯玉祥接到大使馆转来的蒋介石手渝，停止他考察水利，令他12月底回国。冯玉祥当即在纽约举行记者招待会，冯玉祥向到会记者宣布，他将和所有要推翻蒋介石的人合作，号召更多的人起而支持他的反蒋斗争。
蒋介石要冯玉祥回国的命令没有生效，自感难堪，便以“冯玉祥在美低毁元首”的罪名，撤消了他水利特使的职务，进而串通美国政府，吊销了他的护照。2月8日，冯玉祥又在《纽约下午报》以显著地位发表了《致蒋介石的一封公开信》，历数蒋介石背叛孙中山，出卖国民党，祸国殃民的罪迹。他要蒋介石立刻下台，把一切主权交还人民。
2月29日，美国移民局派两名官员到冯玉祥住地要检查他的护照。几天后，冯的几个孩子在不同地方接到移民局的通知：护照即将期满，不得继续留在美国。这一切暗示冯玉祥：美国政府要驱逐他出境的时刻临近了。冯玉祥想到，国内形势发展迅速，胜利在即，他在美国的斗争任务也已结束，再长期呆下去，也无多大必要，决定绕道苏联回国。
7月31日，冯玉祥一行8人，克服了重重困难和国民党特务的阻拦破坏，登上了苏联“胜利号”轮船。经过一个月的航行，9月1日，轮船离开巴统，横渡黑海向敖德萨驶去。突然，船舱起火，冯玉祥和小女儿晓达遇难，夫人李德全负重伤。9月7日，苏联政府派专机到敖德萨接运冯玉祥遗体，在莫斯科机场上，举行隆重的迎灵仪式。遗体火化前，举行告别仪式，由苏联陆军高级将领主持，哀乐声起，仪仗队鸣枪致哀。11月，冯夫人伤愈出院回到东北解放区。1953年10月，冯玉祥骨灰安葬在泰山。