汤恩伯踌躇满志。头顶上抗日名将的光环此时正是最为闪亮的时刻。要说军事才干，此公远远谈不上杰出，但也不能算太草包。抗战初期，确实参加了一些大的战役，战绩还算说得过去。1936年，就参加了百灵庙战役。1938年，率领20军团参加徐州会战，在台儿庄之战中负责从侧后出击，迟迟不动，使得正面防守的孙连仲部队损失惨重，李宗仁多次严令都不起作用，直到蒋介石亲自下令后，才全力出击，出击的虽晚，但在此后的追击战中战果倒也不小。徐州会战后期，负责归德也就是商丘一线防守，后又率部退至平汉铁路南段防守。陈浩当年收容的散兵，许多原是汤军团的官兵。
武汉会战，汤恩伯率三十一集团军在大别山组织防御，阻止了南下日军越过大别山。
武汉失守后，汤恩伯带部队撤往湖北随县、枣阳地区。1939年5月，日军以三个师团兵力向随、枣一带发动进攻。汤恩伯指挥部队在随枣公路两侧布防，构筑袋形阵地，以期一鼓歼灭来敌。此计被敌人窥破，未能实现歼灭敌人大兵团的雄心壮志，但是也给了敌人一定杀伤，击退了来犯之敌。
1940年，国民党设立鲁苏豫皖边区总部，汤恩伯兼任总司令，总部设在皖北临泉县。此时他的主力部队三十一集团军仍在五战区序列，司令部设在河南叶县。这个叶县就是当年汉光武刘秀取得昆阳之战胜利的那个昆阳城。此后，直到1944年豫中溃败，汤恩伯的老巢一直是在叶县。汤就任四省边区总司令后，立即将手伸向河南全省及四省边区，抓兵、征粮、要饷，在一战区辖区争权夺利。为了控制部队，达到称王中原的目的，汤恩伯对下结党营私，还蓄意把部下分为好几派以利自己控制。对上不惜重金重利贿通，蒋介石身边的权贵大大小小几乎都受过他不同程度的贿赂。他还不惜重金从日占区搞贵重物资作为礼品，辗转千里，专车专船运往重庆。这样，博得了蒋介石及其身边权贵的青睐。汤恩伯大力扩充军队，除了正规军外，他又成立了一个所谓挺进军总指挥部，收买四省边区的游杂部队编成80多个纵队，每个纵队多者3000人，少者三四百人。其他还有什么独立旅、补充团等等名目繁多的部队。当时鲁苏豫皖四省日占区和蒋管区的流氓、地痞、地主武装无不被他收罗在内。这些所作所为，极大地加重了中原人民，特别是河南省蒋管区人民的负担。老百姓要出子弟当兵，独子也不例外，还要出人修筑国防工程，例如两条蜿蜒千里的防坦克壕之类，还要忍受名目繁多的苛捐杂税。他的主力部队的老部下曾有些人劝他裁撤那些“于抗战毫无裨益”游杂部队，反而引起了汤恩伯对他们的不满。汤的部队最多时号称40万大军，这些人的军粮、军饷均出自地方。到1943年。河南大旱，加之蝗虫为灾，赤地千里、饿殍遍地，而汤恩伯的征敛却丝毫没有减少，弄得中原大地十室九空。当时，漯河至周口大道两侧的麦田中，每隔十步八步，就可见到饿殍尸体无人收敛，被野狗争食。
１９４１年初，汤恩伯尚未当上一战区的副司令长官。三十一集团军还属于五战区的战斗序列，战斗力还未有明显减退。１月份爆发了豫南会战。
日军为了解除中国军队对信阳的威胁，纠集了7个步兵师团，1个骑兵旅团和3个战车联队的兵力，在司令官园部和一郎的指挥下，分三路向豫南发动进攻。汤恩伯部队驻守区域是其主攻方向。
1月25日清晨，日军开始进攻，西路敌军第3师团和第4师团一部在丰岛师团长指挥下，由豫鄂交界处的小林店东西一线分三路向驻马店地区的泌阳、高邑、邢店进攻；中路敌军第17师团和15师团一部在第17师团平林师团长指挥下，由明港沿平汉铁路向北攻击；东路敌军由第40师团天谷师团长指挥，自驻马店正阳县出发向上蔡方向进攻。日空军出动数十架飞机配合作战，对中国守军阵地狂轰滥炸。26日，日军突破守军阵地，占领泌阳、高邑、邢店、确山一线，27日，进至春水、沙河店、驻马店东西一线。31集团军主力13军、85军等部队节节抗击，但是抵挡不住敌人的猛烈攻势。尤其沿铁路进军的中路敌军进展迅速，沿平汉路向北连陷遂平、西平要点，30日中路敌军向东西两翼分兵，17师团主力自西平向西迂回与西路敌军合围舞阳，15师团部队从遂平向东与东路敌军夹击上蔡。31日，舞阳、上蔡均告失守。接着，东线临泉失守，西线叶县告急。
自日军发动进攻开始，5战区在鄂西北和南阳地区的部队就开始向敌人侧后袭击，68军、59军尾击西路敌军，55军自唐河向泌阳攻击，29军向桐柏攻击，威胁西路敌军小林店一线的后方基地。东路，我驻皖西的84军积极向西攻击，克复正阳。至31日，日军的后方补给交通线大部被切断，腹背受敌，有陷入合围的危险。2月1日，日军被迫开始向南后撤，沿途遭到中国军队截击。13军顺势收复舞阳后向南阳方向追击日军第3师团，85军参与追击敌人第17师团向信阳南撤的部队，至2月7日，各路日军均撤回信阳附近。战役前期所有失地全部收复，毙伤日军9000余人。毫无疑问，敌人的进攻失败了。
是役，中国五战区部队相互配合，互相救应，在运动中歼敌，表现出了国军中少见的人和精神。但是汤恩伯因为自敌人进攻到最后反击，他的部队都是处于战场的正面，认为自己的功劳最大。加上一帮吹鼓手的鼓噪，汤司令简直被吹嘘成了叱咤风云的古今名将一般。不久，汤恩伯就任一战区副司令长官，他的部队也脱离第五战区序列改为归一战区指挥，实际只归汤本人指挥。自此开始直到1944年豫中大溃败，一战区形成了独特的两个司令部的状况，一个是设在洛阳的一战区长官部，另一个则是设在叶县的汤恩伯司令部，由于汤仗着蒋介石的支持到处伸手，而卫立煌却无心与他争权，汤恩伯在一战区的势力膨胀极快。而1941年冬接任卫立煌职务的蒋鼎文可没那么好说话，将帅不和的矛盾越演越烈。这是后话。