但是“9”的选择并没有让阎锡山美梦延续。就在他就职典礼9天之后，9月18日，张学良通电支持蒋介石，统率30万东北挥师入关。当蒋、冯、阎在中原剑拔弩张之时，三方面都曾派人向张学良游说。但阎、冯方面仅给予张氏以"全国海陆空军副总司令"的虚衔，劝其袖手旁观，而蒋介石方面，除了“海、陆、空军副总司令”的头衔外，还有河北、山西等省地盘，及现金六百万元的实际利益。张接受了，遂率兵入关勤王。蒋和阎、冯三方本来陇海线上势均力敌，但是张学良入关，一举改变了力量对比。东北军迅速占领平、津，阎、冯两军斗志顿失，遂一败涂地。23日，南京方面汇东北军500万元开拔费，后又拨一千万元公债款；至10月初，东北军顺利接收了平、津及河北的全部政权。
军事上的一败涂地，令阎锡山“国民政府”和“陆海空军总司令部’随即先后解体。其本人也不得不于10月15日宣布下野，12月潜赴大连。不过在大连蛰居期间，阎锡山一面总结自己的从政经验，一面还遥控山西军政大局，伺机而动。
日本在“九一八”事变后，大举侵占我国东北，蒋介石的不抵抗政策遭到全国人民的反对，一致对外、抗日救亡的呼声日益高涨。蒋介石无奈，不得不表示捐弃前嫌，与各种反对势力言归于好，团结御侮。1931年12月，在国民党第四次全国代表大会上，阎锡山的中央执行委员被恢复。而阎锡山为了取得舆论支持和蒋介石的谅解，后来向中央提出《请政府检拨十万劲旅死守锦州以救危亡案》和《请政府及时确定十年自强计划案》；山西省政府主席徐永昌则通过各种关系向蒋表示自己力不胜任，只有阎锡山可以收拾山西残局；最终蒋介石乃授意国民政府于1932年2月20日任命阎锡山为太原绥靖主任。使这个盘踞山西数十年的“土皇帝”东山再起。
但是虽然阎锡山重掌山西之后，在数年之内创建了包括采矿、冶金、采煤、发电、机械、化工、兵器、水泥、皮革、毛纺、造纸、卷烟、火柴等轻重工业厂矿的西北实业公司，修筑了长达860余公里的同蒲铁路，成立了山西省营业公社，整顿了山西省银行，新建了铁路、盐业、垦业等银号，并为“四银行号”成立了实物准备库，到抗日战争前夕，在山西形成了一个庞大的官僚资本体系，资产达到2亿银元。其规模之大，投资之少，速度之快，效益之高，在国内名列前茅。
但是此刻中国的国际和国内形势却已经有了翻天覆地的变化。被蒋介石发动的“四一二”政变和汪精卫所发动的“七一五”政变逼上武装革命之路的中国**人已经迅速成为了南京国民政府的心腹之患。而接二连三的围剿最终却令这股红色的铁流愈战愈强。
虽然阎锡山的**是由来已久的。早在1921年，他便听了侨居苏俄的山西商人的报告，认为“资本主义和**是两个极端的错误，人类应谋求适中的制度”。但是远在江西的国共战场毕竟与山西有着山高水远的距离。因此阎锡山虽然支持蒋介石对工农红军的“围剿”，但也只不过派一个师赴江西参战。但这种事不关己的局面，却随着工农红军历时一年，转战十一个省的“长征”而最终结束。
当从江西瑞金出发的中央红军(后改称红一方面军)、河南罗山何家冲出发的红二十五军、川陕苏区的红四方面军以及湖南桑植刘家坪等地出发的红二、红六军团先后抵达陕北之后，原本仅有刘志丹、习仲勋等人领导的几支工农游击队的陕北一跃成为了中国无产阶级革命的中心。虽然饥餐露宿，一路鏖战之后，中央红军从8万余人的大军锐减至不过数千人，90%以上的部队损失殆尽，此时的红军可谓精疲力竭已至极点。
但就是这样一支疲惫之师，在陕甘地区数败由张学良率领的东北军，和被称为“小西北军”的第十七路军杨虎城所部。到陕北不过一个多月，红军已经扩充2500人，俘虏3000余人，中央红军和红十五军团兵力迅速回升至15000人。加上在陕北苏区周边的5000名游击队员和3万名赤卫队及赤少队，工农红军强大的生命力使得本属“隔岸观火”的阎锡山第一次感到了恐惧。
而工农红军“北上抗日”的口号更令自“九一八”事变以来惶惶如丧家之犬的东北军上下颇为认同。从关东军炮击北大营的那一天算起，东北沦陷已整整5年，东北将士不但未能在家乡与日军血战，反而随少帅奉蒋公之命到西北“安内”。因此在几次交兵之后，东北上下非但不愿继续与红军作战，甚至鼓动自己的“少帅”与红军联手。很快陕北苏区南线已经分别同东北军的主力第六十七军和杨虎城驻宜川的部队达成了谅解，双方更建立了经济往来，互通有无。一时之间，与陕北苏区隔河对望的阎锡山成为了红军兵锋所指。
当时的陕北北临长城和长城外荒无人烟的沙漠；历来便是一个地瘠民贫、交通闭塞的穷困地区，而红二十五军、中央红军先后到达陕北之后，连同原来的红二十六军、红二十七军，一下子会聚了几万人马，军队的物资补给便显得十分困难。因此一些国民党报纸曾幸灾乐祸地断言：“如果认为红军在那里能够生存下去，那将是荒唐的，不可思议的事情。”巩固扩大了陕北苏区便成为了抵达陕北之后的中央红军所迫切面临的问题。
但此刻的陕北西面宁夏、甘肃边境地区，那里的同样荒芜闭塞。且当地少数民族甚多，往往围寨而居，攻取不易。而南面的关中、渭北地区，物产丰富，人口密集，但靠近国民党军的西北大本营西安，有东北军和第十七路军的八个多师驻守；因此只有东面的山西提供了红军的发展空间。阎锡山虽然拥有号称10万之众的晋军，但是这支军队自中原大战以来已经不复当年之勇，且缺乏同红军作战的经验。
同时山西也是日本急谋之所，日本陆军内部甚至有“欲占领中国，必先占领华北；欲占领华北，必先占领山西”。而“九一八”事变以来，南京国民政府步步退让的政策更令日本侵略军得寸进尺。作为侵华急先锋的关东军和华北驻屯军，积极策划其所谓以“华北特殊化”为目的的“华北自治”运动，并公开摆出一副武力外交的架势。最终于1935年6月27日察哈尔代理主席秦德纯与关东军奉天（今沈阳）特务机关长土肥原贤二签定的“秦土协定”，“割让”察东6县于“满洲国”，宋哲元第二十九军撤出察哈尔境内长城以北地区，国民党党部也撤出察哈尔省。10月20日，日军继“丰台夺城事件”后，再次收买汉奸、流氓发动“香河暴动事件”，并同时加紧进行以平津卫戍司令宋哲元为重点对象的上层策变活动。
虽然原西北军将领宋哲元并不甘作日本的傀儡，但又孤立无援，无力独自抵抗日本，故而态度非常暧昧。日本以军事讹诈为后盾，紧锣密鼓地开展“华北五省自治”（五省为河北、山东、山西、察哈尔、绥远）运动，企图先从它处入手最终胁迫宋哲元“自治”。而除了平津的宋哲元之外，掌握山西的阎锡山也是日本军方重点拉拢的人物之一。日本政府有意扶持当时地方实力派人物中资格最老、影响最大、实力最强的阎锡山为其充当“华北自治运动”的领导者，因此日本军政官员频繁造访太原，加紧了对阎锡山的威胁与游说。
在日本军方看来阎锡山日本陆军士官学校的毕业生，中原大战落败之后更一度在大连寻求日本政府和关东军的庇护。其之所以遁回山西老巢东山再起更与日本方面的情报和资助有着密不可分的关系。自然是策动华北五省自治的不二人选。而事实上早在1931年春，在日本关东军的指使之下，奉天著名的亲日分子—张作霖的东三省保安司令部法律顾问、后来被称为“满洲国的产婆”—赵欣伯由沈阳专赴大连访阎锡山，赵欣伯公开表示此行的目的是为了“拯救”在张学良统治下“水深火热”的东北人民而请阎锡山“出山”。“以其治晋之方救之东北”。
这个臭名昭著的汉奸头子的还露骨地说：“此为东北人之希望，亦为关东军之意见”。阎锡山闻之大惊。他虽然知道自己要想东山再起不能没有日本的帮助，但是如果只是一味的卖身投靠，却有着身败名裂之虞。何况日本人对于自己所扶植和操控的傀儡一向心狠手辣，一旦枭雄张作霖便是前车之鉴。现在要扶他做东北傀儡将会送他的命，于是决计回避，但他又不想得罪日本人，思索再三，只能派人赶到的赵欣伯寓所向对方解释了自己不能亲自会见的苦衷，得到了对方的“谅解”。事后阎锡山对部下说：“这种人远不得、近不得，见了面就麻烦了。”而精于算计的阎锡山对赵欣伯的这种态度正是其对日本若即若离，既防备又利用最好写照。
但是关东军依旧对阎锡山寄以厚望，努力一直保持着密切的往来与合作关系。1931年夏更曾鼓动阎锡山拟订过一份四方联合反奉作战计划。中原大战之后，张学良的东北军在华北形成了一家独大的局面，一度接管山西，开始实行“整军缩编”。少帅曾召集晋军的主要将领徐永昌、商震、傅作义等晋军将领到天津商讨“整编”晋军方案。
张学良按照南京国民政府的意愿，将晋军的数量将由原来的14个军40余师压缩为4个军8个师。徐永昌等人苦苦请求放宽限制，多给编制，但张学良坚不允许。徐永昌折回太原传达实施方案，引起各级军官的强烈反对．后经反复争吵，张学良终于同意再增加一个正太护路军及骑、炮兵独立旅等几个单位以缓和矛盾，“整编方案”这才得以确定。
而张学良掌握北方军政大权后，原属西北军系统的石友三、韩复榘两部也大为不安，颇有反张情绪。因此1931年夏，日本关东军在张学良开始“整编”石友三部时，即与阎锡山联合石、韩，四方秘密商定了讨张行动计划。由石友三所部从平汉线北攻，韩复榘所部出山东北上，晋军及宋哲元部自山西出兵，日本关东军则出兵沈阳抄其后路，共同打击张学良。但在石友三开战以后，山西方面徐永昌等得到情报说宋哲元已被蒋介石拉拢，图谋乘机抢占晋、绥二省，阎锡山急令停止军事行动，因而关东军、韩复榘都未能遵约出兵。石友三孤军战败，反张计划流产。但是阎锡山对这次失信于日本人“深感不安”，事后曾专程派人赴日向关东军参谋长板垣征四郎表示歉意。
1931年8月间，阎锡山得悉确切消息：日本人将在东北“有所行动”，便立即决定离开大连重返山西。他向日本方面求助，答应了回山西后继续发动反蒋内战的条件，出了四万美金的高价。包租日本一架仅乘四五人的小飞机，由一名日军少校驾驶飞返山西。
阎锡山临行，还颇有些准备“一去不复返”的悲壮气慨，对留在大连的亲信赵戴文说：“万一有不幸，妻儿便托你照应了。咱们打出来的晋绥天下，决不能让人抢走。”果然飞机起飞后曾一度迷失方向，盘旋很久才找到平绥铁路。飞临大同时油已耗尽，阎锡山尽管出了几身大汗吃了几回虚惊。但终于回到了大同。
阎锡山先住在时任平绥护路司令、大同警备司令赵承绶家中，不久便潜回河边村老家。当赵承绶问他；“你回山西，不怕蒋介石和张学良压迫吗？”阎锡山回答：“恐怕不久全国就要行动起来反对他们，他们将自顾不暇。对我也无可如何。”果然，一个月后就发生了九一八事变。日本关东一举鲸吞东三省，全国各地掀起了广泛的抗日热潮，蒋介石、张学良穷于应付国内外压力，的确没有精力去过问阎锡山的去留。
不过此一时彼一时，回到山西的阎锡山已如“潜龙入海”，重新一心构筑起自己的独立王国。早已将曾经向关东军承诺过的“反蒋”计划束之高阁了。经过了中原大战之后的阎锡山已经清楚的认识到了自己与蒋介石中央军实力上的差距。而日本关东军的步步进逼，但其目的无非是想变华北为其吞并全中国的后勤基地而已。自己充当其“马前卒”的结果只能是遭到国人的唾骂和众叛亲离而已。连落魄军阀—吴佩孚都不吃日本人的“嗟来之食”，阎锡山自问是一方诸侯，自然“宁为鸡首，不为牛后”。因此当关东军参谋长板垣征四郎亲赴太原，以期促成阎锡山出面推动“华北五省自治”之时，重掌山西的阎锡山表现出来的却是兴趣缺缺。
但对于曾经在日本陆军士官学校的教官板垣征四郎访问完太原后提出要在山西境内旅行观光的要求，一向老谋深算的阎锡山竟一时大意，未多加考虑便满口应允，或许在他看来，向虎视眈眈的日本关东军炫耀一下自己的重回山西的执政成绩，多少可以震慑一下对方的动兵之念。但阎锡山或许忘记了在历次中日交兵之中，日本都以先掌握中国方面的地形地貌、风土人情为先。板垣征四郎在山西的“旅行观光”，最终为晋军此后在山西保卫战中的失利埋下了伏笔。
而与此同时，时任第二十九军军长的宋哲元、河北省主席商震、山东省主席韩复榘也均对关东军方面大力推动的“华北五省自治”冷淡敷衍。为了向日本军部有所交代，长于策反工作的土肥原贤二只能找到时任冀东“蓟密区”专员的国民政府亲日官员—殷汝耕，在河北通州以“冀东防共自治政府”的名义，窃取中华民国冀东二十二县和延庆、龙关、赤城三县的主权。汉奸殷汝耕的卖国行径虽然也算为日本人撕开“华北自治”的口子。但是却引发了中国上下声势更为浩大的“救亡图存”运动。中国**“停止内战、一致对外”的抗日主张更在北平学生的“一二九”救国示威游行之中得到了广泛的传播。
在全国风起云涌的抗日风潮面前，已经在陕北站稳脚跟的工农红军以“卖国贼阎锡山勾结日帝侵略华北，危及晋、绥，复受日帝指挥，派兵六旅之众，屠杀陕北苏区民众。国人痛愤，罪不容诛。鉴于日帝之迈进华北之急，特遣抗日先锋军东渡黄河抵抗暴日……”的名义组织大军渡河东征。当然指责阎锡山为卖国贼，其实很大程度上是红军这时军事行动的一种需要。实际上，在抗日图存的问题阎锡山的立场与张学良相近，也在找共产国际及**的关系进行协商。
到1936年2月红军东征之前，阎锡山本人至少已经与**北方党部的代表有过三次谈话。当然阎锡山所担心的自然还是山西能否继续保持在自己的控制之下，对于**代表所称中国唯一出路在组织国防政府和抗日联军，阎锡山明确表示赞同。但是他也声称**的说法不论站在民族方面、国家方面或民众方面，都是对的，只是在房子里谈可以，站在他的立场，站在国民党的立场却不可以，“因为一谈就是很大乱子”。但是对于**代表所说山西方面唯一出路是与红军订立协定，阎锡山则表示异议。他也知道山西确在危机之中，东有日本，南有蒋军，西有红军，但他的态度却“对谁也不妥协，保持中立”，坚持继续独立控制山西局面。他还声称，他的防共保卫团计划每年训练15万人，三年可训练45万人，到那时他什么都不怕。
1935年，红军在陕北建立了革命根据地之后，阎锡山开始了“思想防共，民众防共，政治防共，武力防共”，进而要用“九分政治一分军事来防共，七分政治三分军事来剿共”。他在山西还准备实行土地“村公有”，作为防共的根本办法；设立“防共保卫团”和“主张公道团”组训民众“防共保乡”。
但事实证明阎锡山的种种防共手段在工农红军强大的攻势面前根本不值一提。1936年2月20日晚，工农红军东征的战役正式打响。红一军团和红十五军团兵分两路，从北起绥德的沟口，南到清涧县的河口百余里的河防线上发起突击强渡。红十五军团先后从辛关渡、贺家凹、舍塔里、咀头等地渡过黄河，进占义牒，直趋石楼；红一军团从沟口过河后，连克三交、留誉，进逼中阳。阎锡山苦心经营的黄河堡垒线被轻松摧毁。红军乘胜追击，长驱东进，接连取得了关上、篷门大捷，于3月上旬，两个军团已经会师于孝义县兑九峪以西的大麦郊地区(今属交口县)。