李宗仁命令孙连仲第2集团军以一部在侯新闸以西运河南岸防御，待机渡河北进，主力控制于贾汪附近及荆山、茅村镇间。张自忠第59军在费县集结整顿后，乘虚向滕县南北地区与由南阳镇附近河之第3集团军部队呼应，截击南下或北退之敌，对泗水方面自行警戒。
孙桐萱第3集团军应超越济宁南北地区，再向兖州、邹县间及界河、官桥间与张自忠第59军及临城以南之攻击部队呼应，袭击敌之侧背，并阻止敌增援或截敌归路。命令庞炳勋第三军团迅速扫荡汤头附近之敌，以一部向莒县方面追击，主力集结于汤头附近布防，对沂水、蒙阴方面自行警戒。
3月18日，日军矶谷师团濑谷支队攻陷滕县后，当晚攻占临城，以一部沿津浦线南下，于20日攻占韩庄，企图直犯徐州，遭到布防于运河沿线的我第52军郑洞国第2师的阻击；另一部福荣大佐的第63联队沿临赵墩铁路于18日攻占枣庄，20日攻占峄县城，矛头直指台儿庄
3月20日，日军矶谷师团借攻克滕县之威，在飞机的掩护下，集中4万人，配以坦克、大炮，向台儿庄发动了猛烈的进攻，企图一举攻占徐州。
3月23日，日军由枣庄南下，在台儿庄北侧的康庄、泥沟地区与守军警戒部队接战。为诱敌深入，第31师刘兰斋连长率骑兵连从台儿庄出发，向峄县方向搜索前进，91旅旅长乜子彬率183团跟进，在峄县城南20里康庄与日军遭遇。台儿庄地区战斗正式打响，中国军队马队为诱敌深入边打边撤；3月24日，日军逼近台儿庄开始向台儿庄地区大举进攻。
日军在台儿庄北五里刘家湖村设有炮兵阵地，排列10门大炮，向台儿庄猛轰。91旅183团3营营长高鸿立率领士兵，每人一把大刀，8颗手榴弹，杀入敌人炮兵阵地，砍得敌人无法招架，弃炮而逃。
3月24日，日军矶谷师团2000多人在飞机、大炮和坦克的配合下，开始向台儿庄大举进攻。
坚守台儿庄北门的孙仲连186团1营在王震团长和姜常泰营长的指挥下顽强抵抗，并在城北门外与日军展开白刃战，打退日军的多次进攻。1营是新兵，几乎全牺牲在台儿庄北门，王震团长也亲自架起机枪向城外日军扫射。
当晚，日军200人突破小北门，躲进小北门附近的泰山庙，王震团长亲率将士围攻泰山庙之敌，终将其消灭。24日起，日军反复向台儿庄猛攻，多次攻入庄内。守军第2集团军顽强抗击，与日军展开激烈的争夺战。日军猛攻3天3夜，才冲进城内。
3月24日，当台儿庄激战开始时，蒋介石即赴徐州视察督导，返回时留下副参谋总长白崇禧、军政部次长林蔚，军令部第一厅厅长刘斐、高级参谋王鸿诏组成参谋团在徐州协助李宗仁指挥作战。
3月27日，当日军增兵鲁南，战事趋向激烈的时刻，蒋介石亲赴台儿庄南车站会见了池峰城，这使池惊喜有加。
蒋拉着池的手说：你的长官说你是忠勇精干兼备之人，今天看来此言不虚。池答复：我师绝对战斗到底，与阵地共存亡，以报国家。
3月27日，得到增援后的日军对台儿庄城发动第3次攻击。日军炮轰台儿庄围墙，北城墙被炸塌，小北门亦被毁，守卫小北门的181团3营官兵牺牲殆尽，300多日军突入城内，惨烈的巷战开始，城内中国守军同日寇展开了激烈的巷战。
尽管日军占据了全庄的三分之二，但坚守在台儿庄南关一带的中国守军至死不退，死守阵地，目的是