汤恩伯的第20军团不愧是国民党军的精锐部队。不管其前几天的表现如何，也不论后人对汤恩伯从1938年3月23日到3月30日这7天时间的行为做怎样的评说，汤恩伯在第五战区司令长官李宗仁的多次催促下，于3月31日终于出山了。
第20军团主力到达台儿庄东北方向运河南头杨家庙一带，已经是3月31日下午了。汤恩伯同第52军军长关麟征、第85军军长王仲廉等研究后，决定从4月1日起，向台儿庄东北面至台枣铁路支线南、北的日军发动全面攻击。
汤恩伯和关麟征在红瓦屋附近的一块高地上亲自指挥作战。两军主力同日军进行激战，日军败退。战斗到下午，第20军团控制了台枣铁路支线的南、北路，截断了台儿庄以北的铁路支线，对台儿庄的日军侧背进行猛烈攻击，形成包围态势。日军矶谷师团的濑谷支队曾几次从台儿庄西面独调一线部队向第20军团反攻，都被第52军击退。
正在同濑谷支队激烈交战的时候，忽闻侦察部队报告，有大约5000多的步兵、骑兵、炮兵联合部队的日军从临沂方向开来，其先头部队已到向城附近。关麟征军长获此紧急情报后，作了如下处置：
一、令在军部附近的步兵营长徐文亮指挥该营和军直属骑兵连，即刻跑步向兰陵镇方面前进，务须在敌正面攻击行动，诱使敌人过早展开，尽力迟滞敌人前进，争取时间，以便我由第一线抽调兵力迎击该敌。
二、同时令第二十五师第七十五旅迅速撤离第一线，跑步开到军部附近，接受命令迅速向兰陵镇方向前进，迎击来犯之敌。
徐文亮营长接受命令后，即率领该营和骑兵连向兰陵镇方向跑步前进，到达兰陵镇附近，与敌前头部队遭遇，即向敌猛烈攻击。敌人果然展开，向该营炮击，约1小时后，第25师的75旅已赶到兰陵镇附近向敌攻击。同时军部又令第25师师长张耀明率该师第73旅开至兰陵镇参加战斗。
此时，军部指挥所也推进到距兰陵镇不远的洪山镇附近的一个小高地指挥作战。当时敌炮已向洪山镇附近不断射击，战斗十分激烈。在黄昏时，第85军的第4师师长陈大庆也来到第52军指挥所。据称，汤军团长命令该师参加这方面作战，关麟征表示这方面不需再增加兵力，让他返回去支援孙连仲部作战。此时，第25师已逐步将这股敌人压迫至兰陵镇以北地区。入夜以后，敌人绕过兰陵镇西北向杨楼、底阁方面逃窜，企图与台儿庄方面之敌濑谷支队会合。
在激烈的战斗中，第52军25师俘获一批军马和日本伤兵。据伤兵交代，他们是日军第5师团坂本支队，共有4个步兵大队，两个野炮大队和一支骑兵队，是来援助第10师团，同中国军队进行决战的。
4月2日上午，第25师将日军坂本支队大部包围在杨楼、底阁附近。日军占领村落农家院子，进行顽强抵抗。第52军急令第2师从北大窑等方向转兵至杨楼、底阁，协同第25师一道消灭坂本支队。两师奋力杀敌，一举攻占了底阁，日军纷纷朝东南方向一个叫肖汪的地方逃去。中国军队乘胜追击，当天晚上又把日军包围在肖汪。
在后来的两天里，第52军的两个师继续围攻坂本支队，双方伤亡很大。日军第10师团得知第5师团的坂本支队被围困在肖汪一带，便不断抽调濑谷支队在台儿庄的作战部队，转身解救坂本支队。这样日军进攻台儿庄的力量相对减弱。
第五战区司令长官李宗仁抓住这个机会，给各参战部队下达新的任务：
一、第二十军团，包括第七十五军的一部，消灭洪山镇北面的日军，并以主力向台儿庄附近的左侧背攻击，逐次向左迂回，务必在台儿庄左侧地区，将敌歼灭。
二、第二集团军右翼与军团联系，于4月3日全线出击，消灭台儿庄的日军；第一一零师准备以一个旅的兵力，从万里闸附近渡河，向北洛附近的日军右侧进攻。
三、第三集团军前敌总司令曹福林，指挥张测民支队五个团及游击总指挥李明扬部，为堵击兵团，迅速南下，向枣庄、临城合围。
外线部队作战十分得力，把日军分割包围，并进行猛烈的攻击。各处的战斗打得都十分热烈。枪声、炮声、人声，把整个台儿庄笼罩在浓浓的战争里，这里的土地被火炮掀翻了一层又一层，这里的河水被抗日将士的血染得鲜红。
远在临沂的张自忠、庞炳勋部队，这个时候打得也非常艰苦。他们曾在3月30日配合援军击溃了板垣征四郎的第5团。但是溃败下去的板垣日军在得到补充后，重整旗鼓，发动新的攻击。
这时的台儿庄正打得天昏地暗，为保证台儿庄大战能取得最后胜利，张自忠和庞炳勋不得不坚守临沂一带，用最大的力量堵住日军的攻击。
第59军为了便于指挥，将所属各团予以归并，有的团只并成一个营或两个营，像崔振伦那个团，经两次临沂作战，原有的两千多人只剩下400多人了。第38师，在作战前约有1.5万人，现在也不足3千。即使如此，他们仍然坚持战斗，以自己的牺牲来换取台儿庄的胜利。
为了台儿庄大战的胜利，国民党军队的第21集团军的5个师、第11集团军的3个师、第50军的2个师、第27军团2个师、第60军的3个师、第68军的2个师等等部队，在东南西北各个方向堵击日军。战斗打得异常激烈，始终没有让日本援军前进一步，从而保证了台儿庄中心地区的第2集团军和第20军团对矶谷师团和坂本支队的围歼剿杀。
台儿庄大战的胜利，是参加会战的所有中国军队的胜利。没有台儿庄外围的阻击，就没有台儿庄大战的胜利。只要日军有一支增援部队开进台儿庄，台儿庄的孙连仲总司令就会吃不消。当交战双方都已竭尽全力，处在极限状态时，即使稍有微不足道的外力进行支持，另一方都会溃败下去。
第五战区的李宗仁正是看见了这一点，所以对汤恩伯下了死命令，让第20军团全线出击，对台儿庄的矶谷师团作最后一击。