胡兰成不敢将此事告知池田，他知道池田对他这样破坏他人家庭的事不会赞成，其时日本社会风气尚保守，一般人在男女之事上出轨，往往就会身败名裂。胡兰成知道，他身在异国，是无正式身份的偷渡客，且勾引成奸的是日本人的有夫之妇，弄得不好惹上杀身之祸都是可能的。可他仍是管不住自己的情欲，他与一枝的奸情整整持续了三年。三年一过，立刻斩断，再也不通音问，他自己也承认“我就是这样一个无情的人”。“大约也是因为时势的缘故，前此我与之有夫妻之好的女子，皆不过三年五年，要算与玉凤最长。”
1954年3月，胡兰成与佘爱珍结合。
胡兰成生活中离不开女人，他的回忆录中多以女人为题记事，他与佘爱珍结合，是他一生中所有夫妻或准夫妻型与女人结合中的最后一次。是年佘爱珍刚过五十，胡兰成四十九岁。
佘爱珍依靠李小宝，在香港三年，整天仍是如当年上海那般打打牌，过上海白相人太太的日子，优裕自在，风光如旧。以后李小宝想到日本发展，佘爱珍跟着到东京，这才与胡兰成重新遇上，故时情人加现实需要，这才有了这段最后的情缘，无分男女对两人都是如此。
结婚头两年，两人仍是分居，佘爱珍与李小宝住新宿，胡兰成一人租住日本人家，不居一处，两人之间却经常吵个不休。最令胡兰成伤心、伤他自尊的是，当他得知佘爱珍在香港的风光，当年李小宝租住的房子每月租金即达一千多港币，联想起当年偷渡时佘只给了他二百港币，这才明白，他把佘爱珍当体己知己，佘爱珍却不了解他，更是从来没有看重过他，可两人却成了最后的夫妻，这真正是他人生最后的讽刺。
两人争吵的另一个原因是为犯罪，为此佘爱珍在日本先后吃过三次官司，连及损伤了他胡兰成在日本的“公众形象”。
佘爱珍的一次犯罪，与胡兰成相同为偷渡入境，违反了日本出入境管理法，还有两次是因为李小宝贩毒，据胡兰成说，这两次佘爱珍完全是受牵连。
李小宝来日本后，又想重操旧业贩卖大麻。想不到日本不比旧时的上海，李小宝被日本警察查获拘捕，佘爱珍与李小宝同住一处，也被一同捕去。胡兰成闻知，简直像五雷轰顶，又哀痛，又发怒，只得强打起精神四处奔走，到拘留所送饭，又到警察局、出入境管理局一次次为佘爱珍说明辩护。事情一张扬开，胡兰成也被日本《全貌》杂志点了名。他急得跳脚，几年辛苦建立起的一点名声至此坠地。而且，他素性最反对贩大麻吸鸦片，将其视为不可饶恕的罪恶，可他却陷入了如此尴尬的困境，他摆脱不开，佘爱珍是他的妻子。虽然佘爱珍最后都被无罪开释，但夫妻两人之间为此还是吵得不可开交，弄得他心力交瘁，“比经过政治亡命更为看破了浮世”。
直到李小宝被遣送回香港，佘爱珍才算收心。胡兰成生了场病，割了盲肠，精力大不如前，且已年过半百，要花心亦不能，也开始收心。佘爱珍服侍他割了盲肠，还给他抄写誊清了《山河岁月》原稿，然后与女儿咪咪一起去开了个酒吧度日。说起来，也是为两人的生活，佘爱珍对他说，希望开酒吧能赚钱，然后造宅大房子做人家，留出一间给他做书房。胡兰成并不喜欢佘爱珍开酒吧，可他能怎么样呢？他无固定职业，也无稳定收入，他也知道男子汉应当养妻子，可家计已到了“要紧关头”，他只能听凭佘爱珍去做了。
有人指斥胡兰成下流下贱，说起来是君子读书人，却与佘爱珍一起开妓院，做拉皮条的营生。这说得太过了。两人要生活，胡兰成既不能养家，佘爱珍是白相人太太，又无其他更好的谋生办法，再说开的是酒吧，不是妓院。胡兰成自己撇清，开酒吧是佘爱珍和女儿在开，自己与其是分开住的，这大约是事实，但撇清是撇不清的，他自己可能不至于亲自去拉皮条，但酒吧里拉皮条是免不了的，佘爱珍开的酒吧就是个色情场所，即便从胡兰成自己眼里也是如此：
爱珍真是贵人。因为她的眼睛里无贱役。我听她讲说，只觉来饮酒的美国空军与陪坐陪舞，出去旅馆陪欢的日本姑娘，我亦可以与他们如与普通人的没有阻隔。老子说：“圣人常善救人，故无弃人。”从来打天下就是亦要与小人为伍的。是故世界若尚有繁华，爱珍总是繁华之人。她开这间吧，收拾得无一处不清洁响亮。虽然外国语是难事，也会给她搞得通，而且姑娘们与配酒的都与她相亲。那些人虽是娼妓一流，原来亦要人拿正大待她们，何况还肯知疼着热。爱珍说待人是以心换心。而她还有说是人骗人，虽亲生儿女亦不过骗骗爷娘欢喜，就已经是好的了。这两句话就有一个礼乐之世，也真心真意，也假仁假义。[9]
胡兰成特地说明，这一切都是他“听说”的，他自己像是从不涉足。不过，如他这样个花色人，不去可能么？常去也不见得，去了无事可干。酒吧里做服务，他不成了“大茶壶”了？毕竟也太老了，去喝酒，那更是浪费，酒吧原本开得就不成功。
佘爱珍开酒吧最终结算，并没有赚到什么钱，衣食冷暖可以保证，造大房子却没可能，胡兰成仍是在租住的人家写文章。他的著述却有收获，他的最好的著述都是在这几年时间内完成的。
