当南京城破了以后，原本坚守南京城光华门阵地的新一团，被日军打得狼狈不堪，只能够跟随着大部分渡过长江往北撤退，突破日军的封锁线。
当时，作为新一团团长的孙文武，只带领着不到二百人，也就是一个连的兵力，跟随着突破日军包围圈和封锁线的大部队，朝着徐州的方向撤退，到了徐州附近以后，休整了大半个月的时间，补充了上千人的兵力，以及武器弹药，重新恢复了新一团的编制。
一九三七年十二月，侵略华东的日军侵占南京后，第十三师团北渡长江，进至安徽池河东岸的藕塘、明光一线；侵略华北的日军第十师团从山东青城、济阳间南渡黄河，占领济南后，进至济宁、蒙阴、青岛一线。
日本大本营为打通津浦铁路（天津-浦口），使南北战场联成一片，先后调集八个师团另三个旅团、两个支队（相当于旅团）约二十四万人，分别由华中派遣军（一九三八年年二月十八日由华中方面军改编）司令官俊六和华北方面军司令官寺内寿一指挥，实行南北对进，首先攻占华东战略要地徐州，然后沿陇海铁路（兰州-连云港）西取郑州，再沿平汉铁路（北京-汉口）南夺武汉。
中国军队由第五战区司令长官李宗仁指挥，先后调集六十四个师另三个旅约6六十万人，以主力集中于徐州以北地区，抗击北线日军南犯，一部兵力部署于津浦铁路南段，阻止南线日军北进，以确保徐州不落入日军之手。
一九三八年一月二十六日，日军第十三师团向安徽凤阳、蚌埠进攻。
中国守军第十一集团军第三十一军在池河西岸地区逐次抵抗后，向定远、凤阳以西撤退。到了一九三八年二月三日，日军先后攻占临淮关、蚌埠。
二月九日到十日，日军第十三师团主力分别在蚌埠、临淮关强渡淮河，向北岸发起进攻，中国守军第五十一军与日军展开激战，伤亡甚重，十二日向河、浍河方向撤退。
第五战区以第五十九军军长张自忠率部驰援，进至固镇地区，协同第五十一军在淮河北岸地区顽强抗击日军
同时，在淮河南岸，以第二十一集团军第四十八军固守炉桥地区，第七军协同第三十一军迂回攻击定远日军侧后，迫日军第十三师团主力由淮河北岸回援。
第五十九、第第五十一军乘势反攻，至三月初恢复淮河以北全部阵地。第二十一集团军和第三十一军旋由淮河南岸向北岸集中。双方隔河对峙。
二月下旬，日军第二集团军开始分路南犯。东路第五师从山东潍县（今潍坊）南下，连陷沂水、莒县、日照，直扑临沂。
第三军团第四十军等部节节抵抗。第五十九军奉命驰援，三月十二日到达临沂北郊的沂河西岸，协同第四十军实施反击，激战五个昼夜，重创日军，迫其向莒县撤退。
西路日军第十师长濑支队（相当于旅）从济宁地区西渡运河，向嘉祥进攻，遭第三集团军顽强抵抗，进攻受挫；濑谷支队（相当于旅）沿津浦铁路南进，三月十四日由邹县（今邹城）以南的两下店进攻滕县（今滕州）。
中国守军第二十二集团军第四十一军英勇抗击，伤亡甚重，苦战至十七日，该军守城的第一二二师师长王铭章殉国，滕县失守。
滕县之战，中国军队以七千之兵对付装备精良的日军数万之众，不惜重大牺牲，阻止日军南下，延缓了日军南侵的脚步，为调集军队守卫台儿庄的战略部署赢得了时间。
日军占领滕县后，骄狂之极，尽其所有，直赴台儿庄。日军兵力四万余，坦克车七八十辆，山野炮和重炮百余门，并以大批飞机助战，三月二十三日，冲到台儿庄北泥沟车站。
二十四日凌晨，日军以猛烈的炮火轰击台儿庄防御工事，随后以坦克为前导，冲进城内。台儿庄一带宅室多为石头建筑，故每一房屋皆为一堡垒。守军据房为垒.至死不退。日军猛攻三昼夜。与守城将士发生激烈巷战。
战斗持续到四月三日，守城将士伤亡已逾十分之七，三分之二的阵地己为日军占领.台儿庄守军仍据守南关一隅，拼死不退。
日军再次调集重炮、坦克猛轰、猛冲。李宗仁一面下令坚守，一面急令汤恩伯军团火速南下增援。次日黎明时分，台儿庄北面炮声隆隆，汤恩伯军于日军背后出现，日军撤退不及，陷入重围。台儿庄守军全线出击，杀声震天。血战经旬.敌军己成强弩之末.狼狈突围逃窜。
除一部分突围至峄县城固守待援外，日军遗尸遍野，坦克车被毁三十多辆，遗弃的各种车辆、弹药、马匹遍地皆是。台儿庄一役连同徐州南北各战场共歼灭日军一万余人，中国军民取得了抗战以来国民党正面战场一次最重大的胜利。
台儿庄大捷，又称台儿庄战役、鲁南会战或血战台儿庄。台儿庄战役的起止时间有几种说法，一般认为从一九三八年三月十六日开始至四月十五日结束。战役由滕县战斗、临沂附近战斗、台儿庄战斗和日军的溃退，中国军队的追击作战等部分组成。
在历时一个月的激战中，中国军队约二十九万人参战，日军参战人数约五万人。中方伤亡约五万余人，毙伤日军约二万余人（日军自报伤亡一万一千九百八十四人）。
台儿庄战役打击了日本侵略者的嚣张气焰，坚定了全国军民坚持抗战的信心。这次战役鼓舞了全民族的士气，改变了国际视听，消灭了日本侵略者的威风，歼灭了日军大量有生力量。
此次大捷是中华民族全面抗战以来，继长城战役、平型关大捷等战役后，中国人民取得的又一次胜利，是抗日战争以来取得的最大胜利，也是徐州会战中国民革命军取得的一次重大胜利。
台儿庄战役由民族英雄李宗仁、白崇禧、孙连仲、汤恩伯、张自忠、田镇南、关麟征、池峰城、王铭章等抗日将领指挥。
战役期间，中国抗战最高统帅老蒋曾三次赴徐州视察、督导、调配兵力，其中第一次，老蒋在台儿庄战斗最激烈的时刻亲赴台儿庄南站观战，并亲自勉励池峰城，前线将士因而士气大振，大大增强了前线将士的战斗力。