次年夏，就在中央苏区第三次反“围剿”战斗正酣之际，红三军团第三师政委黄克诚也接到了“肃反”的任务。军团政治部肃反委员会负责人将一份名单递给他，要他将“AB团”分子立即抓捕归案，押送到肃反委员会接受审查。
黄克诚一看名单，上面所列的人大多是第三师中久经沙场、忠贞不二的一线指挥官，其中有两名连指导员，还是黄克诚亲手提拔起来的。“父亲根本就不相信名单上的那些人会是什么‘AB团’分子，拿自己脑袋向肃反委员会提出担保，希望认真调查后再做决断。”然而，肃反委员会负责人依然口吻严苛：“你是入党多年的党员，又是师政委，应该懂得如何执行党组织的决定，更清楚违反肃反纪律的责任和后果。”黄克诚明白再辩已无济于事，只好转身离开。
在返回途中，黄克诚决意设法保护名单上的同志。几天过后，肃反委员会不见黄克诚所部的“AB团”分子押送来，便反复逼催。黄克诚无奈之下生一计，秘密通知名单上的同志暂时上山躲避。
“他们都是夜宿在山上，我父亲还专门派人给他们送水送饭，劝他们不要太担忧。”为了保证战争的胜利，到了打仗的时候，黄克诚便通知在山上躲藏的干部，下山带兵参加战斗。战斗一结束，他们又赶紧上山躲藏。半个月过后，此事终于被肃反委员会察觉，有两名连指导员马上被抓走，不久即遇害。黄克诚痛心疾首地来到军团政治部，直接向肃反委员会质问为何滥杀无辜。
肃反委员会怀疑黄克诚政治立场有问题，当即将黄克诚抓捕，并严加审查，结果，判处黄克诚“同情和包庇反革命，破坏肃反”的罪名。就在黄克诚将要被处决之时，军团长彭德怀火速下命令，要肃反委员会“刀下留人”。黄克诚被撤职，但最终还是保住了一命。“在庐山会议之后，父亲才知道是彭总救了他”。
拒绝对彭德怀“反戈一击”被撤职
“我平生受过无数次斗争，感到最严重、使我难以支撑的，还是庐山会议这一次。”黄克诚在回忆录中记述，1959年夏，他参加庐山会议时，每晚吃六粒安眠药，都无法安心入睡。
7月19日，在会议讨论彭德怀的“万言书”的时候，黄克诚发言支持了彭德怀的观点。对“大跃进”的不足，黄克诚谈了三点看法：一、对农业生产成绩估计过高。二、比例失调。三、1959年计划指标过大。在谈到人民公社问题时，黄克诚直言：“从暂时说，不搞也更主动些。”他进而强调：“现在有一种不好的风气，就是只能讲成绩，不能讲缺点。”在他讲话中，有几位同志不时向他使眼色，但他都置之不顾。
四天过后，毛泽东发表了长篇讲话，开始对彭德怀等人进行猛烈批判。毛泽东的讲话让黄克诚感到十分不解。他曾回忆说：“主席的讲话对我们是当头一棒，大家都十分震惊……”
为了争取黄克诚等人，毛泽东主动找他们谈话，说黄克诚是彭德怀的“政治参谋长”、“湖南集团”的首要人物、“军事俱乐部”的主要成员。黄克诚对此都一一做了反驳。在谈及四平保卫战的时候，毛泽东说：“保卫四平是我的决定，难道也错了？”“是你决定的也是不对的。”黄克诚毫不犹豫地回答。
几日过后，有人给黄克诚做工作，劝他对彭德怀“反戈一击”，却被回绝了。他说：“‘落井下石’也得有石头，可是我一块石头也没有。我决不做诬陷别人、解脱自己的事！”
最后，黄克诚等人被定性为“右倾机会主义反党集团”，被撤销中央书记处书记、军委秘书长兼总参谋长等职务。
被监禁八年每次批斗都奋力反抗
黄克诚在家赋闲六年之后，接到了赴山西省任分管农业的副省长的命令。次年，“文化大革命”爆发。黄克诚还没来得及看懂“文革”的逻辑，就被红卫兵从山西抓到北京。
“那是1967年1月的一天，父亲刚吃过早饭，突然听到外面有人打听他的住处，且伴有嘈杂声，他才预感到复劫来临了。可是，还没来得及反应，房门被撞开了，20多个红卫兵小将冲了进来”。
翌日，红卫兵把黄克诚押解到北京，先让他待在五棵松一带。从此，黄克诚开始了长达八年多的监禁生活。
