这次华野和中野吸取了以往与胡琏交战的教训，各纵队摩拳擦掌“猎狐”。12月12日，陈毅、粟裕下令中野、华野对第十二兵团发起总攻，黄、胡率部力战不抵，兵败如山倒。黄维见大势已去，下令突围，能跑出一个是一个。12月15日黄维和胡琏乘坦克分头突围，黄维所乘坦克在逃跑过程中阴沟里翻船，连同兵团副司令吴绍周一同被解放军俘虏。胡琏在爬上另一坦克的瞬间被解放军的手榴弹炸伤，他顾不得包扎，一头扎入坦克夺路狂逃。解放军看见那辆奇怪逆行的坦克，谁也没想到里面就是那个宿敌——胡琏。就这样，这辆坦克奇迹般地逃出了解放军的包围圈。胡琏身负重伤，辗转被运到上海虹口天主堂医院。由于救治及时，从他的背部取出大小弹片32块，有几块与肺、心“仅一纸之隔”。
胡琏虽然侥幸逃脱，但身心俱元气大伤，“双堆集”和“粟裕”成了一生挥之不去的噩梦。晚年胡琏经常摸着那次逃亡留下的伤疤感叹“土木不及一粟（裕）”。而那些幸灾乐祸、隔岸观火的同僚则调侃，说他不仅仅是命大，更是命硬。这一点，胡琏自己也承认。
胡琏的第三次死里逃生是在1958年8·23炮战中。这位“金门王”在金门苦心经营，广积粮、深挖洞，修建了数不清的明碉暗堡。许多山竟然被整体掏空，里面成了能容纳几千人同时开会吃饭的囤兵洞。8月23日傍晚，守岛官兵散步的散步，打篮球场的打篮球，胡琏及几位副司令在金门防卫部所在地翠谷为前一天刚飞抵岛上“慰问”的“国防部长”俞大维设宴接风洗尘。当天的晚宴，胡琏已有醉意，遂决定先行一步返回指挥部休息，他的几位副司令赵家骧、吉星文、章杰酒兴正浓，便留在水上餐厅聊天。没想到，解放军从厦门的炮兵阵地发射的第一批炮弹便落在“海上巨碉”金门岛的这个地方。
其实在炮击金门前，解放军并不能确认金门防卫司令部的具体方位，仅知胡琏指挥所设在北太武山反斜面山脚下，此山绵延数里，从大陆任何角度均无法观察到其侧背。可事就是有这么凑巧，在炮击前几天我军刚好抓到几个国民党特务，供出金门防卫司令部方位，确认胡琏的老窝的范围就由数平方公里缩小至数百平方米。
翠谷位置非常隐秘，一般情况下炮弹根本打不到，但那一天就有这么几发偏离弹道的炮弹鬼使神差般硬生生砸地在翠谷。顿时翠谷爆炸起火，弹片横飞，一片混乱。赵家骧、吉星文、章杰几位“副司令”当场被炸得血肉横飞，先行一步的胡琏被眼前的情景吓得六神无主，没命奔出这个地方，就差那么几秒钟，胡琏又捡得一命，又一次与死神擦肩而过。
当时解放军之炮火猛烈，让在金门海域的美国海军都目瞪口呆。第二天早上，惊魂未定的美国海军通信联络金门，问：“金门还有没有活人？”胡琏回电就一个字：“有。”胡琏只是受了点皮外伤，身处水上餐厅的3位中将副司令就没那么幸运了——副司令赵家骧冲上连接水上餐厅与陆地的小桥，腰部被纷飞的弹片击中，不治而亡；另一名副司令官吉星文身中弹片重创，急送医院手术后，弹片被逐一取出，接着又调来一排兵献了3000毫升的血，伤情才稍加稳定，不料腹中残留一极微小的弹片3天后引发腹膜炎而亡；第三位副司令章杰则是当场毙命。炮击过后，胡琏清点人员时唯独不见章杰，至次日清晨，有人在水上餐厅附近发现了章杰若干残碎遗物，经其传令兵辨认，确认章杰死亡。
败走天涯笔墨云烟
金门炮击，胡琏的得力助手赵家骧命殒孤岛，胡琏心灰意冷，无意再任金门防卫司令部司令。越南战争期间，台湾当局秘密派出军事顾问团，协助南越建立“政战”制度，代训干部，并提供作战物资。为助南越军和美军作战，1964年，胡琏被任命为“驻南越大使馆大使”（台湾以此掩盖军援南越的事实）。胡琏在南越8年，为南越政权反共、剿共出谋划策，可谓不遗余力。也因为这个原因，胡琏成了越共游击队的暗杀对象。
虽然胡琏生性多疑，机警小心，但越共游击队还是侦知了胡琏的生活起居规律。1967年5月19日，两名游击队员经过乔装打扮，混入“中华民国驻越南大使馆”，并在胡琏的办公室里神不知鬼不觉安装了定时炸弹。胡琏每天上午都会在办公室里办公，但说来也巧，这天10点半胡琏刚好有个会。他从办公室拿好文件走到隔壁的会议室还不足一分钟，办公室便传来一声巨响，后墙被炸了一个大洞。胡琏完好无损又神奇地逃过一劫。后来胡琏每忆及此事，都心有余悸，唏嘘不已。
胡琏在南越8年，1972年因病被免职回到台北疗养，任“总统府”战略顾问，并晋升为一级陆军上将。胡琏戎马一生，血雨腥风，福大命大，屡次死里逃生，晚年回归平静，爱好文学和历史，潜心苦读古籍，研修历史。胡琏认为，从某种意义上说，人类史实为战争史，“史中自有练兵治军之道”。胡琏的“多识”，获益于“勤学”。他自己说：我这辈子就干了两件事，打仗和读书。胡琏读书兼收并蓄，涉猎宽泛，但又爱好专一，以史为主，注重“以史为鉴，匡正谬弊，归本人心”。他以68岁的高龄，本着“学然后知不足”，在台大注册，进入台大历史研究所，专门选修了宋史和现代史。胡琏对宋史怀有强烈的兴趣，在台大3年间除了因病住院请假的时间，竟然从未缺过一次课。
胡琏晚年还撰写了回忆录，如《古宁头作战经过》、《泛述古宁头之战》、《金门忆旧》和《越南见闻》等书，回忆了他刻骨铭心的经历，又有了“儒将”之谓。临近毕业，他选定的博士论文题目是《宋太祖的雄略之面面观与今昔观》，大纲已初步拟好，并准备写5万字，却因心肌梗塞于1977年6月22日猝然去世。这位黄埔悍将枪林弹雨，一次次化险为夷，一次次死里逃生，却最终没有逃脱病魔。
根据其生前所立“予尸化灰，海葬大小金门间，魂依莒光楼”的遗言，胡琏骨灰由台北空运金门，灵葬于金门水头湾海面。一年后，一座纪念他的“伯玉亭”（胡琏字伯玉）倚岸兀起，金门又多了一处“革命圣迹”，以后新入岛的国民党官兵第一件事就是瞻仰“伯玉亭”。
