在台儿庄大捷之后，日本大本营重新制定了围剿徐州中国60万大军的作战计划。日军从宁、苏、皖抽调部队，4月下旬在进攻策略上也作了调整。他们为排除侧翼上被中国军队突击的危险，便以主力配合大量装甲部队和飞机向西部闪电挺进，迅速攻占合肥，首先压迫李品仙第11集团军的31军西撤退守到大别山外围的六安县，然后日军又转向对据守在淮河中游一带的廖磊第21集团军的第7军、第48军进行攻击。防守在淮河两岸和田家镇、寿县、正阳关等重要据点的部队，为避免被敌人包围歼灭，在作稍事抵抗后，自动放弃防守阵地，实行化整为零的游击战术，同敌人纠缠，计划在这一地区拖垮、拖累日军，再作分割包围歼灭。但是日军为实现大本营的作战意图，不同中国军队纠缠，而以第3师团、第9师团、第13师团和井关的机械化部队，循涡河地区向蒙城迈进。同时，蚌埠南岸附近的日军也抢渡淮河，向北急进。
防守在淮河北岸的第51军和第77军，忽然受到日军优势力量的压迫，不得不放弃自己坚守的阵线，连夜向东边的皖、苏边境撤退。刘汝明的第68军奉命南下增援，行到夹沟地区，守军早已撤退转移，而第68军处在十分危险的位置，所以全军奉命向涡阳突出重围。
刘汝明的第68军突围后，徐州以南津浦路防线完全敞开。在皖北地区的第21集团军总司令廖磊，见事情严重，速派集团军总预备队前去扼守蒙城和宿县。第173师师长杨俊昌和副师长周元各把持一个县城，周元副师长率133团守蒙城，杨俊昌师长率两团守宿县。
蒙城阻击日军4天，周元副师长壮烈牺牲，全团官兵活着跑出来的只有十几人。占领蒙城的日军，没有休整，便马不停蹄地继续向北进军，矛头直指皖北重镇宿县。日军攻占蒙城后，便在蒙城设置后方根据地，计划以蒙城为据点，向徐州进取。
日军在蒙城集中了庞大的兵力，向南宿县进攻的就达3个主力师团，据守在南宿县的杨俊昌师长只有两个步兵团，可想而知战斗的惨烈状况。
日军的主力没有用多大的气力，他们万炮齐轰，把县城城墙夷为平地，再出动飞机轰炸、扫射，然后作集团式的冲锋。在步兵前面是数十辆坦克、装甲战车。
中国守军在完全处于劣势的情况下，用身体和热血扞卫城池。战斗的激烈状况不亚于蒙城周元副师长他们。对这场战斗，第五战区司令长官李宗仁回忆说：
杨师长俊昌，率所部扼守南宿县，因城墙被敌炮摧毁，被迫撤至郊外，损失虽重，尚未全部牺牲。
李宗仁在回忆南宿县时，说尚未全部牺牲，是同早两天蒙城之战相比较而说的。他回忆蒙城阻击战时说：
当敌军猛烈进攻时，周副师长曾数度奋起反攻，期望冲破重围，无奈敌人火网严密，未能成功。除二十一名士兵乘黑夜蛇行逃出，幸免于难外，其余官兵、夫役、马匹等则一概为国牺牲。
而后人说到徐州会战时，对南宿县杨俊昌师长血战一事，提及的不多。
就是说到也不过寥寥数语。这是因为杨俊昌师长被军法审判，判了10年。
这件事情发生在徐州第五战区大撤退的时候，李宗仁在他的回忆录里说：
当长官部最后自徐州撤退时，二十一集团军总司令廖磊曾严令师长杨俊昌死守宿县，俟长官部退过宿县，始可放弃。无奈敌军企图断我后路，以优势兵力猛攻宿县。我守军至势突力竭时，杨师长便向廖总司令请示，电话尚未说完，敌军已攻进城内，俊昌便放下听筒，且战且走，放弃了宿县。廖磊大怒，呈请严办杨俊昌。杨遂被押往汉口，交军法会审，判处监禁十年。其实杨师的守宿县，已用尽最后力量，力竭始退。所以如杨师长的十年监禁，多少有点冤枉。嗣后他在湘西芷江监狱，不时写信给我，请求缓颊。我因未便徇私，总是复书叫他耐性等待。俊昌足足坐了十年牢，胜利后才恢复自由。
也许是这个原因，才少提或者不提杨俊昌血战南宿县一事。为我中华英勇献身的无数英雄，他们的功绩不能被埋没。当年为保卫南宿县阻止日军北上徐州而英勇战斗的勇士们的精神，还需后人继承和发扬，所以有必要在这里重新提起这场阻击战，以表对先烈们的崇高敬意。
南宿县阻击战失败，远在河南新安县的第77军军训团并不知道，他们只知道徐州吃紧，接到命令让他们派1个大队前去增援。第77军军训团决定派第4大队出征。第4大队是以第77军学兵大队为基础组建起来的，大多是受过军事训练的青年学生。他们高唱着《义勇军进行曲》，从新安县乘火车，途经济阳、郑州、开封、商丘到宿县。
在安徽宿县，日本飞机轮番轰炸火车站。他们在车站附近利用地形掩护，组织火力对空射击，致使敌机不敢肆意低空狂炸。然后4大队向南坪集中，沿途看见安徽民众惨遭日军残害，饱尝了战争的灾难。第4大队同学们心情激昂，决心狠狠打击敌人，以雪国耻。
第4大队到达宿县与蒙城之间的南坪镇时，徐州局势更为恶化，徐州以西的陇海铁路和徐州以南的津浦交通全部被日军截断。第4大队在南坪以北的浍河岸边布防，阻击日军南下浍河。
刚刚布防完的第4大队接到侦察员的报告，说是有两百人的日军已由双堆集方向沿浍河南岸开过来了。这个情况来得很突然，出乎第4大队的意料。大队长黄省周分析了情况，他认为敌人整队而来，又不知我们在此，那就给他来个攻其不备吧！大队研究决定，同日军打近战，突击消灭敌人。
日军大队前行，走到第4大队伏击圈内，机枪、步枪突然响起，把日军打了个措手不及。两个骑马挎刀的指挥官被击中，从战马上摔下来，日军在混乱中拖着死伤官兵仓皇退出战场。
第4大队在浍河南岸地区主动出击，给日军以很大的打击。那天他们在张庄发现有二三百名日军，同张庄相连的是赵庄，在赵庄还停放有日军的大炮和十几辆坦克。敌人有些大意，他们正在烧火做饭、休息，连个站岗放哨的都没有。
第4大队决定给敌人以打击。黄大队长从各中队挑选10名敢死队员，共有六七十人。每人带上6枚手榴弹攻打赵庄，其余战斗人员攻打张庄。
张庄、赵庄的攻击行动要统一，由赵庄敢死队在庄头点火为号。
赵庄西头，敢死队员点燃了草堆，冒出了浓浓的白烟，两个村庄的战斗开始了。第4大队的炮兵配合向庄内的日军猛烈轰击，双方枪对枪、刀对刀地干起来了。战斗打了一个多小时，双方伤亡惨重。敢死队在赵庄炸毁敌坦克，燃烧的坦克冒出滚滚浓烟。张庄的日军倒下一大片。
第4大队边战边撤退，从张庄退回到阵地上来的队员只有一半了，敢死队的伤亡也很大，只退回来几个人。日军由于伤亡很大，不敢出村追击，只在村庄边上与第4大队对峙。
第二天第4大队陷入日军重围。他们在黄省周的率领下，同日军作拼死抗争，经过一场激烈的肉搏战后，终于打开了缺口，剩余队员向宿县以东转移。在突围战中，第4大队又伤亡大半，只剩两百多人，大队长黄省周和几个中队长阵亡。全大队重新组合为两个中队，在洪泽湖一带开展游击战。直到一个多月后，才回到商城、潢川一带，在河南省地界上重归建制。