4月3日，日军再次向台儿庄阵地上的中国守军发起攻击，不断投掷催泪瓦斯弹。当日军攻占台儿庄的东南门后，突入城寨百余米，台儿庄大部分市区的街道被日军占领。第31师官兵在激战中死伤2／3，仍然据守南关的几处阵地，同日军拼死抵抗。
李宗仁分析了战场全局情况，拿起电话，冷静地命令孙连仲：“第2集团军各部必须坚守至次日拂晓，拖住日军，等待汤恩伯军团前来增援。”
孙连仲毫无惧色，坚定地回答：“长官有此决心，我第2集团军牺牲殆尽不足惜，连仲亦以一死报国家。”
4月4日深夜，汤恩伯指挥的部队到达台儿庄的北面。这时候，台儿庄已经有2／3被日军占领。
李宗仁原来认为，汤恩伯的部队4日中午即可到达，因此，命令孙连仲于4日晚上向日军阵地反击。这天半夜，孙连仲总司令把阵地上所有能用的兵都集中起来了，伤员们来了，炊事员，担架兵，都站到了敢死队的行列里。这支数百人的敢死队正要出发，电话铃响了。
池峰城师长在电话中向孙连仲总司令请示：“是否可以撤退到运河南岸去？”
孙连仲毫不犹豫地命令：“部队决不能撤退。士兵打完了，你自己填上去。你填过去了，我就来填进去。有谁敢过河者，杀无赦！”
池峰城师长以必死的决心组织部队抵抗，把增援的日军击退。