在制定军衔方案一年内，军委领导再次把军衔问题提到了议事日程。从1953年12月至1954年年初，在北京召开了一个长达55天的军委高级干部会议。这次会议明确提出了要在中国人民解放军中实施军衔制、干部薪金制和义务兵役制三大制度。
这次会议之后，又经过充分的准备，1955年1月，中央军委发布了《关于评定军衔工作的指示》，对军衔评定工作给予了政策性的规定，并将士兵军衔定为2等5级，即：上士、中士、下士；上等兵、列兵。
在此基础上，1955年2月，全国人民代表大会常务委员会第六次会议通过了《中国人民解放军军官服役条例》，由毛泽东签署命令，在全国公布实施。这个条例规定了中国人民解放军军官的条件、来源、军衔、奖励、权利和义务、预备役等问题。规定我军采用世界通用的军衔体制，设6等19级：大元帅、元帅；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉；上士、中士、下士；上等兵、列兵。同时宣布中国人民解放军将于1955年10月1日开始实行军衔制度。
但是，在具体实施中又与此次通过的军衔等级不完全一样。1953年第二方案为了解决副排级干部的授衔问题，在原来军衔的基础上增设了一个“准尉”军衔，准备过渡一两年再取消。实际上这个原本被当做临时性的军衔，成了第一次授衔时正式设置的一个军衔，使尉级军官增加到5级。因此，1955年的军衔方案就成为6等20级。这样，中国在仿照苏联军衔的基础上并结合自己的实际，形成了有中国特色的军衔制。
毛泽东不要大元帅，并主张在地方工作过的领导不评军衔
《中国人民解放军军官服役条例》颁布后，全军上下普遍关注，因为授衔是真正涉及全军每个人利益的大事。为组织好这次授衔工作，中央决定由国防部长彭德怀和总政治部主任兼总干部部部长罗荣桓直接负责(1954年10月，经罗荣桓提名，宋任穷调任总干部部第一副部长，同赖传珠和徐立清一起协助罗荣桓工作。)。元帅由中共中央书记处提名，中央政治局审定；将官由总干部部与总政治部提名，报中央军委批准；校官由各总部、各军兵种、各大军区提出，报总政治部和总干部部在全军范围内统一平衡。授衔的主要依据是从资历、战功、德才和威望等方面综合考虑。
经过精心细致的工作，初步方案出台。毛泽东被提名为大元帅；元帅13人，除正式授衔的10人外，还有刘少奇、周恩来、邓小平；大将14人，除我们熟知的10人外，还有李先念、谭震林、张鼎丞、邓子恢。
当时我军军衔制度基本上是按照苏联军衔设置而制定的，苏联最高统帅斯大林被授予最高军衔大元帅，因此，在中国就必然想到了也要授予毛泽东为大元帅。
当时作为军衔评定主要负责人之一的宋任穷回忆说，为了给毛泽东授予大元帅军衔问题，全国人大常委会还专门开会进行了讨论。会议由人大常委会委员长刘少奇主持。刘少奇已知道毛泽东不会接受大元帅军衔。但在大会上，与会人员包括许多民主人士纷纷发言，认为毛泽东在革命战争中功劳最大，一定要给毛泽东授大元帅军衔，并授3个一级勋章。对此，刘少奇和彭真秘书长作了解释和说明：许多同志已转业到地方上做党政工作，党中央和中央军委反复考虑，同意他们不要军衔的意见。当然，将来在特殊情况下，譬如发生了大规模战争，仍可授予他们军衔，比方毛泽东就可出任大元帅，统领全军战斗。
尽管如此，与会的代表们还是坚持一定要给毛泽东授予大元帅军衔。看到大家这样坚决，刘少奇只好说：“你们不是经常见毛主席吗？你们见面后当面去说服他，争取他的同意，这次会议不作决定。”
这次会议之后几天，彭德怀、罗荣桓和当时具体负责这次评衔工作的总干部部两位副部长宋任穷、赖传珠去向毛泽东汇报这次评衔工作的进展情况。刘少奇、周恩来、邓小平也参加了这个会议。
会上，彭德怀首先把这次授衔工作的情况向毛泽东作了详细汇报，接下来大家再一次提出要给毛泽东授予大元帅军衔，给刘少奇、周恩来、邓小平授予元帅军衔的主张，并说明这是全体工作人员的一致意见。
毛泽东听了摆摆手说：“你们搞评衔，是很大的工作，也是很不好搞的工作。根据国际上的经验，这个大元帅我不能要，让我穿上大元帅的制服，多不舒服啊！到群众中讲话、活动，多不方便啊！依我看呀，现在在地方工作的，都不评军衔为好！”
毛泽东说完了这些话，看了看刘少奇说：“你在部队里搞过，你也应是元帅。你也应该评嘛！”刘少奇摇头：“我不要评了。”毛泽东又转而去问周恩来和邓小平：“你们的元帅军衔，还要不要评啊？”周恩来和邓小平态度坚决地摆手说：“不要评了，不要评了。”毛泽东又问当时在场的那几位被列入大将名单、但已转业到地方工作的李先念(国务院副总理兼财政部长)、谭震林(中共中央副秘书长、国务院副总理)、邓子恢(中共中央农工部长、国务院副总理)、张鼎丞(最高人民检察院检察长)，他们也纷纷表示不要评了。
这样一来，对原定方案作了修改：不设大元帅衔。设元帅衔10名，大将衔10名。在上将衔名单中，除乌兰夫、谢富治、韦国清、叶飞、阎红彦等少数情况特殊者外，其他转到地方上工作的领导干部都不授军衔。本来，1954年9月，陈毅经全国人民代表大会第一次会议通过，被任命为国务院副总理。周恩来经过反复思量，考虑陈毅的历史功绩与在第三野战军的影响，考虑他当时与以后的工作，主张授予陈毅元帅军衔。周恩来特别指出：“军衔授予，对陈毅同志现在和将来的工作均无不便之处，平时可以不穿军服，必要时再穿。苏联的布尔加宁同志也有元帅衔，现在他做部长会议主席的工作就不用元帅头衔了。可以说是一个例子。”
