刚出道时，潘宏彬和刘德华是最亲密的兄弟。两个穷小子凑钱在香港租了间小公寓，白天一起跑组试镜，晚上挤在一张床上讨论剧本。刘德华后来回忆：“那时候我们什么都没有，却觉得未来什么都可能有。”港媒甚至拍到两人共用一件外套、同吃一碗云吞面的画面，还因此编造出“断背山”的离谱绯闻。潘宏彬曾笑着回应：“我们好到能穿一条裤子，但真的只是兄弟。”谁也没想到，这对铁哥们会走到“绝交”的地步。2000年后，两人彻底断了联系，刘德华在一次采访中罕见承认：“潘宏彬是我唯一公开绝交的朋友。”关于决裂原因，流传最广的说法与刘德华的妻子朱丽倩有关。据说刘德华曾委托潘宏彬帮忙照顾朱丽倩，却因此产生误会；另一种说法是，刘德华婚讯曝光后，媒体天天围堵潘宏彬挖料，让他不堪其扰。无论真相如何，曾经形影不离的两人，最终成了最熟悉的陌生人。1998年，正当事业如日中天时，潘宏彬突然宣布退出演艺圈。他转身投入地产行业，成了跑马地一带的物业经纪经理。有媒体拍到他穿着普通西装，带着客户看房的照片，光头、发福的模样，完全褪去了荧幕上的明星光环。有人问他是否后悔，他只是淡淡一笑：“演戏是工作，现在也是工作，没什么不同。”
退圈后的潘宏彬过着极其低调的生活，几乎与娱乐圈彻底隔绝。他不再接受采访，也不参加同学聚会，连刘德华、梁家辉的电影首映礼都从未露面。2014年，他曾短暂复出客串一部电影，但很快又消失在公众视野。好友透露，他退圈后身体一直不太好，多年来一直在调养，最大的爱好就是在家养花、听粤剧，过着普通老人的生活。潘宏彬的离世，家属没有透露具体死因，只简单公布了消息。这个曾经在镜头前光芒万丈的演员，最终以最平静的方式告别世界。有人说，如果他没退圈，或许会像刘德华一样成为影坛常青树；也有人觉得，能在巅峰时急流勇退，过上自己想要的生活，何尝不是一种圆满。从TVB小生到地产经纪，从万人追捧到归于平淡，潘宏彬的一生，就像一场跌宕起伏的港剧，最终在落幕时留下无尽唏嘘。如今再看他饰演的杨康，那个在富贵与道义间挣扎的角色，仿佛预言了他自己的人生选择。或许对潘宏彬而言，比起聚光灯下的虚假繁华，普通人的柴米油盐，才是他真正想要的江湖。
