孙总司令发出向日军全线攻击的命令，各作战部队响应是积极的，但收效不大。在鲁南想打一个台儿庄似的大胜仗看来是不容易了，正如李宗仁对白崇禧说的那样，太迟了。所谓太迟了，是指没有条件了，徐州四周的日军都朝这个方向行动了，来得快的已经到达鲁南，同矶谷师团会合了。
鲁南兵团联合第60军，还有汤恩伯一部，摆设的口袋型阵地企图一举消灭朝台儿庄进犯的日军，在全线总攻击的战役中，没有实现。鲁南地区的中国军队没有这么大的胃口，他们吃不下这股敌人。进入鲁南的日本军队不仅仅是矶谷廉介一个师团，还有板垣征四郎的第5师团。在战斗中，中国军队发现日军第16师团、第14师团、伪军刘桂堂部等七八个番号的部队死亡人数减少，这证明日军的增援起到了效果。
不管怎么说，孙连仲指挥的全线反击还是起到了作用，最起码是遏制住日军猖狂进攻的步伐，缓解了日军来势汹汹的进攻。在这次全线大反击中，受损失最大的要数第60军卢汉的部队，有的一个旅还不够一个营的人数。第60军并没有因此而消极，也没有保存实力的想法。
日军遇到第60军算是遇到对手了，他们不知这个对手这么硬、这么耐打，还这么倔犟，缠住他们就是不放手，就是打完拼光，也不让日军一人过去。原来日军打算集中兵力，南渡运河，占领临沂、台儿庄一线，直取徐州。不期在禹王山以北地区，碰到这个克星，竟以死打硬拼的笨方法，把他们挡在禹王山下。
在中国军队全线出击的第二天，日本军队也集中优势兵力，给中国军队一个以牙还牙的攻势，矛头直指第60军的防线。第60军在禹王山周围构筑工事，严阵以待，准备同进攻日军拼个你死我活。
禹王山是台儿庄东南运河北岸海拔最高的山，其山头面积较大，站在山头上可以俯视台儿庄，位置特别重要。日军要南渡运河，直取徐州，这是必经之路。所以对它来说，日军势在必得。
日军先是派一个大队，在炮火支援下向李家圩及禹王山西北坡的守军阵地作试探性攻击，在连续冲击下，一部分日军抢占了西北山麓的一个小高地。随后便是飞机进行侦察，又升起观察气球，指挥炮兵向禹王山正面集中轰击。日军的炮火大有炸平禹王山的劲头，炮弹扬起的尘土像云团，顿时天昏地暗，中国守卫部队在阵地上留有少量兵员，观察敌人动向，其余全部钻进掩体，躲避日军炮火。等待日军炮火纵深延伸时，他们才从掩体下钻出来，迅速进入阵地。先以机枪、步枪朝进攻日军射击，然后是手榴弹，第60军用这样的方法打退日军的好几次进攻。
禹王山守卫战又打了两天，万名日军对第60军全线发起进攻，第一线的防御阵地好几处被敌人突破，禹王山的山顶也被敌人占领。日军在山顶架设轻重机枪，直接打击第60军的防守阵地。卢汉的第60军抱着同阵地共存亡的决心，绝地反击，整个禹王山下一片混战，尸横遍地。突破进来的日军大多被击毙，有一股残余被击退，第60军又乘胜追击，把进攻的日军赶了回去。
占领禹王山顶的敌人，被山顶两侧阵地的火力网严密封锁着，第186团的3营奋力冲锋，都没能将山顶之敌打垮。为夺回禹王山顶，步兵第3连286人组成敢死队，一个排一个排轮番冲锋。两个排倒下去了，第3排投入战斗，也遭到同样的结果，全连还剩30多人，为了避免牺牲，团长命令不再前冲，只在原地控制住山顶就行。第3连30多名战士，在敌阵地正面配置10多挺轻机枪，同敌人形成对峙状态。
后来第186团的迫击炮，把山顶上敌阵地给敲掉了。
英勇的第60军经过八天八夜的激战，全军伤亡7个团，1.4万多官兵。
其中有5000多人壮烈牺牲，9000多人负伤，全军军官伤亡近500人，为了抗日救国，为了民族的生存，第60军在抗日战场上写下了壮丽的一页。
蒋介石获悉第60军的战况后，专门派后勤部长傅飞鹏到黄家楼军部慰问，给第60军鼓舞士气。孙连仲也来电嘉奖，他说，贵军此次在台儿庄附近以血肉之躯与敌之机械化部队艰苦奋斗，前赴后继，鏖战8昼夜。使战局转危为安，忠勇奋发，足资楷模，唯残寇犹作困兽之斗，尚望激励所部，继续努力，积极加强工事，完成聚歼大计，是所至盼！
时任第五战区司令长官部高级参谋的徐定华回忆说：
禹王山争夺第二天，蒋介石一连发来两次急电，表示嘉勉。
我和卢汉、胡若愚及参谋长同住一间大屋，铺连铺。急电来后我们互相传阅，卢汉得到最高统帅称兄道弟，心里自然是乐滋滋的。接着，李宗仁也给卢汉军长打来了电报。
第60军同日军作战摸索出了日军的规律，总结出了一套对付日本兵的方法。在禹王山周围阵地，工事日益完善强化，官兵们作战也有经验了，日军后来的攻击，可以说是屡战屡败，全被第60军击退。直到战区大撤退之前，进攻的日本军队硬是没有从第60军阵地前跨出去一步。
这些都是成千上万的先烈用生命取得的。
卢汉的第60军在鲁南地区经过25天的激烈战斗，全军损失巨大，各师都进行了整编，第182师和第183师各编为1个团，第184师编为3个团。全军两万多人，于当年5月17日奉战区命令将阵地移交黔军第41军王文彦接替，第60军回后方补充休整。卢汉将军对这段往事记忆犹新，他回忆说：
5月18日傍晚，我军整编刚告结束，孙连仲传来李宗仁的命令，令我军急向徐州以东约四十华里之汪庄集结待命。部队正准备出发，孙连仲忽然又来电话，指派我军守卫徐州，掩护鲁南兵团撤退。接着又送来笔记命令，附徐州附近五千分之一国防工事设施要图一份。这时日军对徐州的包围圈越缩越小，陇海、津浦东南西北四面铁路线已被切断，敌机在市区整天投弹轰炸，我鲁南二十万大军又涌到徐州，挤在狭长地带各自夺路，这时李宗仁亦已离徐州。临行前下令第六十军守卫徐州，并将徐州中央银行来不及搬走的小额钞票，拨给我军三个月伙食费二十二万元，命令我于徐州不守时，即进行游击战。