3日,第二集團軍第三十一師在泥溝車站與日軍發生遭遇戰,臺兒莊戰役開始.傍晚,日軍追擊中國軍隊第十一師一八五團到南洛.被伏兵所阻.24日,敵軍進至劉家湖后繼續南犯,突擊臺兒莊城東北,被守軍一八六團全殲200余人.25日,日軍進攻南洛.

一八五團主動出擊,三營營長高鴻立率全營士兵與敵拼殺,誓奪敵炮.敵1000余人配以20余輛坦克向高營猛撲.團長王郁彬率一、二兩營趕來增援,血戰兩晝夜,王郁彬、高鴻立負傷.27日,日軍攻破臺兒莊北門.中國守軍第三十一師與敵在莊內展開拉鋸戰,雙方傷亡甚重.日軍不斷增加兵力,從嶧縣調來增援部隊4000余人.

8日,日軍攻入臺兒莊西北角,謀取西門,切斷中國守軍第三十一師師部與莊內的聯系.該師師長池峰城指揮所部以強大炮火壓制敵人,并組織數十名敢死隊員,與敵肉搏格斗.湯恩伯軍團關麟征第五十二軍和王仲廉第八十五軍在外線向棗莊、嶧縣日軍側背攻擊.29日,日軍瀨谷支隊再以兵力支援,并占領了臺兒莊東半部.31日,中國守軍將進入臺兒莊地區的瀨谷支隊完全包圍.

是時,坂本旅團由臨沂轉向臺兒莊馳援,到達向城、愛曲地區,側擊第二十軍團.該軍團即命第五十二軍和剛到的第七十五軍圍攻坂本支隊.激戰數日,予日軍以重創,使其救援瀨谷支隊的計劃落空.日本侵略軍1937年12月13日和27日相繼占領南京、濟南后,為了迅速實現滅亡中國的侵略計劃,連貫南北戰場,決定以南京、濟南為基地,從南北兩端沿津浦鐵路夾擊徐州.

臺兒莊是徐州的門戶,位于徐州東北30公里的大運河北岸,臨城至趙墩的鐵路支線上,北連津浦路,南接隴海線,扼守運河的咽喉,是日軍夾擊徐州的首爭之地.

1938年3月24日,日本侵略軍瀨谷支隊向臺兒莊發起進攻,與中國守軍第2集團軍第31師展開激戰.日軍一部突入東北角,被守軍擊退.27日,瀨谷支隊主力一部突入北門,第31師與敵展開拉鋸戰,守軍傷亡甚重.28日,突入臺兒莊的日軍被第31師圍攻,敵方損失甚重.29日,李宗仁遂令第2集團軍死守臺兒莊陣地,并嚴令湯恩伯部南下,協助第2集團軍解決臺兒莊之敵.31日,中國軍隊將進入臺兒莊之敵完全包圍.4月3日,中國軍隊向日本侵略軍發起攻擊.日軍拚力爭奪,占領了市街大部.中國軍隊一次又一次反擊,展開街壘戰,奪回被日軍占領的市街.雙方陷于苦戰.6日晚,中國軍隊全線攻擊瀨谷支隊.戰至7日凌晨,除一部日軍突圍至峰縣附近固守待援外,被圍之敵全部被殲.

臺兒莊戰役是中國軍隊取得的一次重大勝利.在歷時半個月的激戰中,中國軍隊付出了巨大犧牲,參戰部隊4.6萬人,傷亡失蹤7500人.在中國軍隊的英勇抗擊下,取得了殲滅日軍1萬余人的巨大勝利.此次戰役沉重地打擊了日本侵略者的兇焰,鼓舞了全國軍民堅持抗戰的斗志。