在“红楼”以及福建省蜿蜒曲折的海岸线下，才隐藏着赖昌星的主要业务。1999年案发后，他被指控犯下了中国历史上最大的走私案，从1994年成立远华集团，到1999年案发，赖昌星从事走私犯罪活动达五年之久，走私货物总值人民币530亿元，偷逃税额人民币300亿元，合计造成国家损失830亿元。
他的时代早结束了
温哥华时间2011年7月21日，在那天早上，赖昌星的命运已经有了“不祥”的征兆。在最后一次申请延缓遣返的控辩双方陈词时，辩护律师马塔斯在德国柏林通过电话做出陈述。因为上一次暂缓遣返的日期就到2011年7月6日为止，所以在外人看来突然启动的遣返程序，其实是既定的日程。
“选在既定的日子外出，表明赖昌星案件，已经不是这位金牌人权律师的第一优先工作。”丁果分析认为，以多年对马塔斯采访和观察的角度来看，他的“不在场”，只有两种解释，一个是太有把握，一个是明知大局已定，不在场可以免掉当场的尴尬。
在此之前，为了不让赖昌星在临被遣返时出意外，加拿大移民部甚至放了一个烟幕弹，提出新的举证，认定赖昌星违背了软禁条例，有潜逃的风险，这些举证包括赖昌星与黑社会大圈帮大佬有接触，并在温哥华开“红楼”聚赌，因此申请羁押。
而赖昌星在加拿大的岁月本身也并不完全拥有自由。有一次，王健民到赖位于丽晶广场的公寓拜访，当时恰逢赖昌星和曾明娜双双被抓，家中只有两个小孩。赖的一位朋友早上过来帮忙给孩子做早饭，而午饭就是把早饭热一热接着吃。
2007年加拿大联邦法院要求移民局做第二份风险评估，赖昌星得以暂时摆脱了被遣返的风险。从这之后的两三年里算是赖昌星过得比较舒心的日子，他住进了女朋友林萍萍在列治文买的豪宅里，这所独立房屋的四周是农地，占地面积非常大，赖昌星在那里开垦了一些菜地，种了一些大蒜。
很多本地结识的甚至国内过来的朋友都在这里出没，很多朋友去那里开生日party，通宵打扑克搓麻将。有一次黄运荣好奇地问赖，这些人都认识吗？赖昌星回答也不全认识，很多人也是朋友的朋友，慕名而来，就为了见一见“赖昌星”。
但关于赖昌星开设地下赌场的传闻也在这段时间传出。温哥华警方一个专门负责亚洲帮派活动的警员曾接到线报，说赖在列治文的豪宅里非法经营赌场。该名线人进过赖昌星列治文的别墅两次，但是该线人也是黑社会分子，每次向警方报料都会有100-300元加币做酬劳，他未能提供更多证据。尽管法院最终认为证据不足，但这也让赖昌星在温哥华的华人圈里更加不受欢迎。
2009年1月，赖昌星获得CIC批准的为期一年的“工作许可”（Work Permit）。赖昌星为此兴奋过一段时间。他好几次想开餐馆，但到最后都没有开成。
有几次，餐馆的准备工作已经全部都完成了，赖昌星对进来拜访的朋友说：“下一次见面就可以到我的店里吃饭了”，但他的饭馆最终没有开起来。
“我还不如当初当一个菜农。”赖昌星在接受麦健陆采访时说。他曾经感叹过：12年了，虽然大部分时间并没有在牢房里，但他却也从来没有一天是感觉自由的。当初因为远华案落马的部分官员，已经出狱。8月2日，南方周末记者在联系当时落马的厦门海关副关长接培勇时，他的妻子郑女士说，他们的一生，都已经毁了。
毫无疑问，赖昌星的时代已经结束了。一个大幅降低贸易壁垒的中国，已经在赖昌星旅居加拿大的12年间，从容到来。而恰是此前的壁垒，给赖提供了巨大的利润空间。
而加拿大国内局势的变化也对赖昌星越来越不利，保守党哈珀政府在2011年5月的联邦选举中取得多数执政的地位，保守党的一个主张就是快速遣返罪犯。巧合的是，遣返赖昌星的最后法庭对决，与加国外长贝尔德（John Baird）的首次出访北京时间（7月16日至24日）交叉，贝尔德在北京与副总理李克强，外长杨洁篪会面，商谈总理哈珀秋天的第二次访华。贝尔德坦言，赖昌星案件是交谈的内容之一。
丁果曾经在2011年与赖昌星通话，告诉他形势已经变化了，希望他再度考虑自首的问题。他拒绝考虑，并说律师曾经跟他解释过，如果自愿回国，加国政府就难以再跟进该案。
乐观的人们在期待赖昌星能开启另一个时代：从加拿大移民部长康尼，外交部长贝尔德，到总理哈珀，都在各种场合强调，将与中国政府步调一致，把滞留在加拿大境内的多达数百人甚至上千的经济犯罪分子、贪官污吏遣返回中国，而要做到这一点，具有指标性意义的赖昌星案，是一个关键案例。
