最初的情况似乎令刘文辉满意。“刘文辉当时在西南受到很好的照顾，地位很高。”刘文彩三子刘元富说。刘元彦也说，“共产党对父亲很尊重，没有不放心。公家分了他一个小洋楼，贺龙、王维舟经常来。”
1950年初，刘元彦和父亲刘文辉去了一次北京。刘元彦想留京工作，结果因肺病不能工作而回川。时隔不久，母亲留在成都，他陪父亲去重庆戒鸦片烟。“戒烟是父亲主动要求的。我、大夫和父亲一起住在招待所里，没去多久，几个月，因为戒得很快。”
“戒烟后，他慢慢就变胖了。解放初西南军政委员会副主席的合影中，他最瘦。”刘元富说。
刘文辉去重庆戒烟时，成都减租退押运动开始了。刘氏家族受到很大冲击。刘文辉的侄子、24军原副军长刘元琮，曾在起义过程中于雅安与胡宗南部打艰苦的阻击战，1950年军队改编后任186师师长。他在土改过程中失去性命。
“刘元琮被清算历史罪恶，开大会批判，农民当面指着鼻子骂他。但他土改时表现好，把金元宝都拿出来，到大会会场当场退押。但还批斗他，他脾气很大，就在会场上服毒自杀了，自杀后还有人向他身上泼污水。”刘元富说，消息传到重庆，刘文辉为此非常震怒，后来在会议上批评川西行署负责人，刚刚说过对起义人员既往不咎，就对刘元琮如此，认为他做得过火了，“刘文辉军人出身，脾气是有的，刘元琮是手下大将，立了很多功，结果被逼死，他说话很有情绪。”
刘文彩那时还没有成为典型，但退押减租已将他的次子刘元华弄得焦头烂额。他还为此去重庆向刘文辉求救。“退押没办法，什么钱都花光了。幺爸(刘文辉)说，把他自己的办完了再帮我们。他也没奈何。后来确实拿出一部分帮我们。刘元瑄(刘文辉侄子，原24军代理军长)、刘元恺(刘文辉之女)一家也都是他帮忙给钱退押。”刘元华说。
拥有大片地产的刘文辉，本人也要减租退押。刘元彦对此细节不是很清楚，“可能对我家在计算上还客气一些，其他人有的就过不大去了，包括刘文彩家生活都困难了，老家好多亲属和关系深的人，还有部下，钱不够都到我家拿。”
时隔两年，刘文辉被调任四川省政协副主席，这个职位明显不如原西南军政委员会副主席。“刘文辉本想去北京，但李井泉说，四川才解放不久，不安定，刘文辉留四川比较好。中央就留他做四川省政协副主席。”刘元富说。
刘文辉平日很少和刘元富谈论政治，但刘元富知道他对共产党非常佩服，“共产党一个命令，雷厉风行到基层，他管一个省都做不到，蒋介石更不行了。那时共产党的一切政策他都拥护。”
刘元富记得，刘文辉在一次讲话稿中说，他在农村除草，时间稍长就腰酸背疼，体会到劳动人民有多苦。
“大跃进”进入到大规模饿死人阶段之前，1959年夏天，刘文辉离开四川，去北京出任林业部长。在这之前的反右运动中，刘文辉平安过关，“反右时没有抓到他的把柄，他这种级别，抓右派要报中央批。”刘元富说。
中央保护“过关”
但1959年，对刘文辉却是一劫。这一年，刘文彩开始浮出水面，成为全国性负面典范。“四川开始布置‘地主庄园’，把工人房子都锯矮了，准备公开展览。报到了中央，中央当然同意。周恩来只有把刘文辉调往北京，但四川不放。谁都知道刘文辉和刘文彩的关系，后来中央让刘文辉人先来，手续后办。刘文辉7月去了北京，9月地主庄园就公开展览了。”刘元富说。
地主庄园公开展后，《光明日报》曾采访刘文辉，问他对此的看法。刘元富记得，刘文辉回答说：刘文彩做的事应该由我负责。“可那时候他都不能对自己负责，还能对别人负责？全靠中央念旧情，处处保护他，‘文革’时还是周恩来保护他才过关。”
刘元彦记得，在刘文彩举国闻名之际，刘文辉曾问他：这事对我是否会有什么影响。“父亲担心接下来批斗自己。因为显然此事不是针对刘文彩一人，还有针对我父亲。因为父亲在四川还有影响。不好批他，就批刘文彩，以减少他在四川的影响力。”
地主庄园中，有很多不实的展示。“但当时刘文辉已经不在四川，我不敢说啥。‘文革’时，我曾去北京看过刘文辉，说起这个想法，他没多说话。他是多年从事政治的人，城府很深的，私下有意见也不会说。但我二哥(刘元华)去看他时，他曾流泪，表现了内心。”
刘元华之子刘小飞曾听母亲说过，刘元华1973年去北京看望刘文辉时，刘文辉曾将子孙都支出去，落泪对刘元华说：老二，我对不起你们。1949年解放前，祖父刘文彩病危，刘小飞的祖母杨重华曾打算离开四川，被刘文辉留住。
不过，刘元华在接受南都记者采访时，否认此事。他的女婿在一边说，“即便刘文辉和他说了这些话……”欲言又止。
“文革”时，刘文辉也受到冲击，被抄家。刘元彦说，刘文辉本人还被一个红卫兵学生打过一皮带。
在刘文辉1976年病逝前，他还做了两件值得记录下来的事情，一是在广播中对台湾讲话，歌颂祖国初步繁荣昌盛，希望台湾早回祖国怀抱。二是撰写了《走到人民阵营的历史道路》一书，讲述自己从一个“反动统治者”回归人民的历程，旧历史终结。
