正当汤恩伯的第20军团在峄县、枣庄一带同矶谷师团应战之际，日军板垣征四郎便从临沂开了过来。板垣征四郎这会儿想同矶谷廉介会合，两条被打瘸的狗，倒有点惺惺相惜的味道，丧家之犬，同命相连。
日军第5师团的行动，引起了汤恩伯军团长的惊慌，他以为敌军是在抄他的侧背，所以立即命令正在同矶谷作战的第52军、第85军撤退。在前线作战的关麟征军长听说板垣师团在他的侧背，便急急忙忙撤离战场，转身朝南退却。
汤恩伯的第20军团，果然是蒋委员长的精锐部队，4月21日晚上从峄县九顶山出发，第二天下午就跑到了江苏的邳县以北地区，撤退了六七十里路，只用了1天的时间。
板垣师团的速度也不慢，在第52军、第85军到达连防山、艾山附近时，他们也跟上来了。第20军团根据自己的防守任务、地形，以及日军可能进攻的方向，把第52军摆放在艾山主阵地上。主阵地布防情况是，第2师左接第25师艾山阵地，在大刘庄、小刘庄至燕子河之间占领阵地。第25师派出1个团兵力在连防山占领前进阵地，掩护第52军主力占领阵地构筑工事。
敌人的动作真快，担任连防山前进阵地的那个团还没来得及构筑工事的时候，就遭到日军飞机的轮番轰炸，随后是大炮的集中轰击，部队不得不仓促地进入阵地。关麟征军长登上艾山，从望远镜里了解战地情况，便发现前进阵地已被板垣师团三面包围。他打电话给高鹏团长，鼓励该团坚守阵地。有意思的是，关军长在电话上许诺，只要打退敌人，保高鹏升为少将团长，于是高鹏团长率团同敌军展开了激战。
激烈的战斗一直延续到下午，板垣师团火力太猛，他们在飞机、大炮的掩护下，攻占了连防山的村庄。中国守军伤亡很大，在村里同日军进行院落争夺战。终因伤亡太多，被日军逼到连防山南端。第52军主力在身后还没有构筑好工事阵地，如果高鹏这个团抵挡不住，就有全军崩溃的危险。
关军长在电话上严令高鹏不许后退，为了全军整盘棋，必须对敌人进行反攻。高鹏团长在大炮的支援下，率团向日军反击，不幸中弹身亡。部队失去指挥，全团溃退，连防山失守。
占领连防山的板垣师团，遭到中国军队猛烈的炮火轰击，随后又被守卫在大刘庄、虎皮山的中国军队顽强抵抗，他们不能向前进一步。日军调整了进攻的部署，首先集中火力攻击虎皮山阵地。
守备在虎皮山阵地的是第73旅，他们在炮兵的支援下，等敌人接近阵地时，集中各种武器猛烈打击敌人，同时派出部队在侧翼出击，进攻日军被迫败退下去。关麟征军长亲自到一线察看阵地。根据旅长、团长的建议，为确保各阵地的重要支撑点，采取以营为单位，每隔一天轮换一次的战术，从而保证守防部队有比较充分的时间进行休息，保持体力和锐气。
关军长的这个方法效果很好，不同日军打疲劳战，在阵地上时刻都有气势旺盛的守备部队。不管日军多么骄横，进攻多么猛烈，每次都是无功而返，伤亡很大。板垣征四郎见白天进攻没有进展，便把进攻改在晚上，目的是想避开第20军团猛烈的炮火。
而我炮兵部队早已确定目标，只要日军进入这个预定区域，便遭炮击，或者是遭前沿阵地上的小炮、轻机枪、重机枪组成的严密火力网的阻击。日军夜间的进攻不仅没有奏效，反倒遗弃大量尸体。由于双方一线相距很近，火力相接，无法清扫战场，日军尸体腐败发臭，气味难闻。
日军一招不行，又换第二招。板垣在援兵的支持下，又转向第2师，向大刘庄进行重点进攻。大刘庄是一个大村庄，内有上千户人家。第2师就在村外构筑坚固的防御工事。阵地前是一片平坦的麦地，可以说十分开阔。第2师阵地还能得到第25师的右翼的支援，艾山上的重机关枪、小炮都能直接打到麦地上来，日军进攻部队全在中国守军的火力控制之下。
大刘庄的防守阵地对中国军队十分有利。
进攻日军根本不管这些，他们在骨子里都瞧不起中国军队的战斗能力，即使他们打了败仗，也不承认这一点。他们目空一切，于拂晓在飞机和炮火的掩护下，朝大刘庄猛扑过来。
阵地前的那片开阔的麦地，成了日军的葬身之地。他们凭借自己的勇猛，张扬着武士道精神，可是平坦的地面帮不了他们，反倒成了他们最大的难题。在我中国军队浓密火力的打击下，日军次次进攻都以失败告终。
第2师凭自己充足的兵力，每经过一次战斗，打败日军冲锋后，便轮换一团人。第一线阵地上，始终保持充足的兵力和高昂的士气。
日军认为硬攻不行，便采取晚间大规模偷袭。企图借夜幕的掩护，突破开阔的平坦麦地。不料日军的偷袭被前线守卫部队发觉，中国炮兵从艾山发射电光弹，日本军人在麦地里无法隐蔽，便改为强行冲锋。在中国防守部队的正面和侧面火力的打击下，又因死伤过大，狼狈溃逃。
板垣征四郎沉不住气了，派出师团主力，对大刘庄发起进攻，他不相信他的师团竟拿不下一个大刘庄。他用一部分兵力攻击大刘庄正面，以吸引中国军队的注意力，又用大部分兵力向大刘庄侧翼阵地攻击。战斗进行了一天，日军终于占领了大刘庄东面的一个小村落。他们以此为支撑，连夜向大刘庄阵地继续攻击。
整个大刘庄被炮火硝烟所笼罩。关麟征在艾山炮兵观测所，一面指挥炮兵集中火力向敌人射击，要求第25师利用重武器侧击敌人，支撑第2师，一面在电话中鼓励守备在大刘庄的第2师第7团，他要团长刘玉章坚决抵挡住敌人，把敌人拖在大刘庄。刘玉章团长负伤，但仍指挥部队作战。
夜晚，关军长派部队增援大刘庄的第2师援军一到大刘庄，便利用夜色全线对日军发动大规模突然袭击，日军进攻部队没有意料到关麟征会来这一手，丢盔弃甲朝外跑。板垣征四郎这个倒霉蛋再一次被击败。
第52军在关麟征军长的指挥下，取得了阵地防守战的初次胜利，为蒋介石再造第二个台儿庄大捷的作战意图添了彩。大批中外记者和外国军事观察团的人，从徐州涌到第52军关军长的防地，参观、采访第一线作战部队。
麦地里堆放的枪支、弹药和其他军用战利品，成了记者和观察团成员最青睐的物品，他们要求部队送给他们一件战利品留作纪念。关军长笑着，很大度地说，日本战刀、太阳旗、日记手册、日军士兵的护身符，你们想要什么自己挑。
经过这一期间的阵地防守战，第52军伤亡过半，不久便开赴徐州以西进行休整。
第52军还没有离开的时候，张自忠的部队便已开到邳县以东，李延年的第2军接替关麟征军长的防守任务。