由于刘青山、张子善的地位和影响，以及广大干部在认识上的不尽一致，毛泽东在考虑对刘、张的量刑时，是十分慎重和民主的。当时，他曾与朱德、周恩来、刘少奇、薄一波、彭真等人在颐年堂开会，议论这个问题。大家一致的看法是：对那些“手上不干净”的人，应当区别轻重大小，经过深入调查核实，实事求是地分别对待，以免整错、杀错；但是对于像刘、张这样的大贪污犯，不论他们有多大的功劳，都是不可饶恕的。毛泽东说：“对于这样的叛徒和蛀虫，有多少就必须清除多少。清除了他们，不是党的损失，而是党的胜利；不是降低了党的威信而是提高了党的威信。”
不杀，就不能平民愤！不杀，就不能正党纪国法！不杀，就要当李自成第二。
据有关资料记载，当周恩来将华北局的报告送交毛泽东时，毛泽东看后许久不语。周恩来就问：“主席的意见呢？”
毛泽东张口说出两个字：“死刑。”
周恩来又问：“万一有人出面讲情呢？”
毛泽东还是两个字：“不准。”
虽然中央的意见已经统一，但是在正式作出决定前，毛泽东还是不放心，又委托华北局到天津地区调查研究、征求干部群众的意见。薄一波回忆说：“1951年12月下旬，华北局通过河北省委征求了天津地委及所属部门对刘、张两犯量刑的意见。结果是，地委在家的8个委员的一致意见是处以死刑。地区参加讨论的552名党员干部的意见是，对刘青山同意判处死刑的535人，判处死缓的8人，判处无期徒刑的3人，判处有期徒刑的6人；对张于善同意判处死刑的536人，判处死缓的7人，判处无期徒刑的3人，判处有期徒刑的6人。”
党中央和毛泽东在看到上述材料后，又请党外民主人士传阅，听取他们对量刑的意见。最后，毛泽东决定：同意河北省委的建议，由河北省人民法院宣判，经最高人民法院核准，对大贪污犯刘青山、张子善处以死刑，立即执行。
当时，刘、张的罪行已经通过报纸、广播公布于众，广大群众尤其是天津地区的群众，无不咬牙切齿，痛恨万分。改组后的天津地委曾组织八个县镇的党员积极分子，讨论对刘、张的处理意见，无一人不主张枪毙的。杨柳青镇的农民说：刘青山、张子善的罪行，真比反革命分子还大，应该把他们弄回来公审枪决。
党中央和毛泽东作出执行死刑的决定，是慎重和民主的。下这样的决心不容易，而一旦下定决心，则一切不可动摇。
当刘青山、张子善将被处决的消息在内部传开之后，在河北省各级干部中引起极大的震动。一些干部特别是当年曾和刘青山、张子善一起出生入死闹革命的干部，感到惋惜，有不少的议论。有的说：“他们是有功之臣，不能杀呀！”有的认为：“可以判个重刑，让他们劳动改造，重新做人。”有的呼吁：“希望中央能刀下留情！”有的感叹：“三十多岁正是好年华，说杀就杀了，实在可惜，应该给他们一个立功赎罪的机会。”……
这些意见和呼声，集中地反映到了当时担任天津市委书记那里。他觉得有必要向毛泽东和党中央反映一下，于是他找到了华北局第一书记薄一波。他对薄一波说：刘青山、张子善错误严重，罪有应得，当判重刑。但考虑到他们在战争年代出生入死，有过功劳，在干部中影响较大，是否可以向毛主席说说，不要枪毙了，给他们一个改过的机会。
在这种情况下，薄一波如实地向毛泽东转达了“枪下留人”的意见。
毛泽东在听了薄一波转述的意见后，抽着烟，沉思了一会儿，对薄一波说了几句话：“正因为他们两人的地位高，功劳大，影响大，所以才要下决心处决他们。只有处决他们，才可能挽救二十个，两百个，两千个，两万个犯有各种不同程度错误的干部。”
对此，薄一波在《若干重大决策与事件的回顾》一书中写道：“由此可见毛泽东在处理这个问题时所下的决心和所做的深思熟虑，他当时的心思完全倾注在如何维护党的事业上面，如何更好地挽救犯错误干部的多数上面，如何更有效地防止干部队伍的腐化上面。严惩刘青山、张子善的决定的果断作出，实际上是再一次用行动向全社会表明，我们党决不会做李自成！决不会放任腐败现象滋长下去！决不会让千千万万先烈用鲜血和生命换来的江山改变颜色！”
当时，还有一些人找毛泽东，替刘青山、张子善“说情”。毛泽东对工作人员下了命令：“凡是为刘青山、张子善讲情的人，一律不见！”以后，他还在别的场合讲过“非杀不可”的道理：我们杀了几个有功之臣，也是万般无奈。我建议重读一下《资治通鉴》。治国就是治吏！“礼义廉耻，国之四维，四维不张，国之不国。”如果臣下一个个都寡廉鲜耻，贪污无度，胡作非为，而我们国家还没有办法治理他们，那么天下一定大乱，老百姓一定要当李自成！国民党是这样，共产党也是这样。杀张子善、刘青山时我讲过，杀他们两个，就是救了两百个、两千个、两万个啊！我说过的，杀人不是割韭菜，要慎之又慎。但是事出无奈，不得已啊！问题若是成了堆，就要积重难返了啊！崇祯皇帝是个好皇帝，可他面对那样一个烂摊子，只好哭天抹泪地去了哟。我们共产党不是明朝的崇祯，我们绝不会腐败到那种程度。
