杜聿明说：“打仗不是纸上谈兵，画一个箭头就可以到达目的地。况且敌人已先我占领阵地，兵力也陆续增加，究竟有多少，我也未搞清，战斗非常顽强，每一村落据点，都得经过反复争夺，才可攻占。一到晚上，敌人又利用其夜战特长，将据点夺回。故我邱、李兵团与黄百韬虽相距仅20公里，但仍难越雷池。”
在粟裕指挥下，华东野战军打援部队拼全力阻挡住了邱、李兵团，而围攻黄百韬兵团的纵队则前仆后继，浴血奋战，激战至17日，将碾庄圩外围据点大部攻克。19日晚，华野集中5个主力纵队，对困守在碾庄圩的黄百韬兵团部及附近村庄的8个团进行最后的总攻。激战至22日上午，碾庄圩被攻克。黄百韬率少数随从逃到六十四军军部。
六十四军军长名叫刘镇湘，军衔中将，军部设在一个叫大院上的小村子里。该军和六十三军同属粤系，都是“老广”，和黄百韬较为亲近。
黄百韬和刘镇湘见面后，神情沮丧，脸色蜡黄，坐了很久没有说话。吃了午饭以后，他对刘镇湘说：“我年纪老了，而且多病，做俘虏我也走不动，而且太难为情。我牺牲以后，别人还知道有忠心耿耿的国民党人，或可使那些醉生梦死的人醒悟过来，国民党或许还有希望。你年纪还轻，希望你能突出重围，再为党国做点事。”
这一年黄百韬已49岁，刘镇湘比黄小7岁，尚属42岁的壮年。他对黄百韬说了一些安慰的话，并表示，自己也决不当共军的俘虏，死也要和黄百韬死在一起，共同为“党国”尽忠。他还打开皮箱，把中将大礼服穿了起来，挂上勋章，穿上皮靴，对黄百韬和副军长韦德、参谋长黄觉说：“我们要准备成仁，为党国和总统尽忠。”
然而，蝼蚁尚且惜命。22日下午，黄百韬、刘镇湘等又逃到了六十四军一五六师指挥所驻地吴庄。第二十五军中将军长陈士章、少将副军长杨廷宴等人也逃到了吴庄。
黄百韬一听“吴庄”这个村名，就长叹说：“此吴庄，乃吾葬身之地也！”因“吴庄”与“吾葬”系谐音，黄百韬颇有点迷信。他曾极其悲伤地对杨廷宴说：“这场大战，我有三个不解：一、我为什么那么傻，要在新安镇等待四十四军两天；二、我在新安镇等了两天之久，为什么不知道在运河上架设浮桥；三、李弥兵团既然以后要向东进攻来救援我，为什么当初不在曹八集附近掩护我西撤？”
说罢，黄百韬不住地摇头长叹，说：“不是天灭蒋(介石)，而是蒋自灭呀！……”
22日下午4点左右，解放军对吴庄发动猛烈进攻。激战至黄昏，全歼吴庄守敌，生俘六十四军少将副军长韦德和参谋长黄觉。
此时，黄百韬、刘镇湘、陈士章、杨廷宴等人在哪里呢？
黄百韬逃跑途中毙命。有人说是被击毙；有人说他开枪自戕，未死，旁人又补上一枪。尸体运回南京安葬，蒋介石还下令追赠他为上将。死因究竟如何，至今尚是个谜……
几天后，杜聿明接见了从吴庄逃回徐州的第二十五军少将副军长杨廷宴。
杜聿明问：“你知道黄(百韬)司令官的下落吗？”
杨廷宴说：“22日那天晚上，天漆黑漆黑，黄司令官和陈士章、刘镇湘两位军长见情势危急，就各带一部分人突围。刘镇湘佩上勋章，向敌人冲锋，战死了。陈士章不知下落。黄司令官和我两人突出后，走到一茅棚附近，见四面都有共军包围，无法再走，黄司令官即举枪自杀，但并未断气，我又加了一枪。黄死后，我正在哭，共军来盘问我，我说：我是伙夫，死了的是伙夫头，是我哥哥。当时我俩都化装成士兵，共军没有追究。我将黄司令官掩埋后，钻空子跑了回来。”
当时，杜聿明听杨廷宴说得非常生动真实，对黄百韬、刘镇湘为“党国”尽忠，感到十分敬佩。
想不到过了七年后，杜聿明在北京功德林战犯管理所突然见到了刘镇湘和陈士章，一问，原来他俩和黄百韬从吴庄突围后，都没有死。刘镇湘是当天晚上被俘的。陈士章则化装逃回了南京，蒋介石又任命他为新组建的第二十五军军长，部队开到福建布防，想不到又被解放军所俘。
杜聿明不禁对七年前杨廷宴“生动真实”的汇报心生疑窦。杨说刘镇湘死了，陈士章不知下落，而现在刘、陈都活得好好的，那么黄百韬是否真的“自戕”了呢？……
再说碾庄圩国民党军七兵团兵团部被攻占后，新华社华东总分社社长康矛召亲笔写了一张条子，派侦察员飞马送给随军采访的记者黎明，要他“迅速查清黄百韬的下落”。战争年代，对国民党高级将领，战后都要求“活要见人，死要见尸”。可是黄百韬既未见其人，又未见其尸，他的下落究竟如何呢？
黎明带着两名侦察员，花了一夜的工夫，查遍了黄百韬最后待过的大院上、吴庄等村子的所有部队及国民党军俘虏，寻遍了所有的工事和残存的房屋，仍未查到黄百韬的踪迹。
后来，黎明听人说，黄百韬逃到小黄庄东北的旷野里，撕碎了蒋介石最后空投给他的亲笔信后，开枪自杀了。但黎明并未找到佐证，只是听说而已。
1987年出版的、由军事科学院军事历史研究部编著的《中国人民解放军战史》第三卷(全国解放战争时期)一书中说：“……黄百韬逃至大院上，继续指挥残部作垂死挣扎。我军组织连续突击，至22日黄昏歼灭残敌，击毙黄百韬。”
