仅仅过了50多天，霍家的小船又一次翻在大海里，两个哥哥葬身鱼腹，连尸体都没有找回来！母亲死命抱住一块船板，侥幸被过路的渔船救下一条命。当时霍英东因为在海边找野蚝，不在船上，才躲过了这场灾难。
霍英东找到的第一份工作，是在一艘旧式的渡轮上当加煤工。可是他的身体实在太单薄了，顾得上铲煤就顾不上开炉门，刚上岗就被辞退了。那几年中，霍英东简直像俗话说的“人倒霉喝凉水都塞牙”。不过，早年的艰辛和挫折，并没有打垮霍英东，他在不断的失败中，获得了经验，积蓄起力量，等待着机会，他坚信自己总有崛起的一天！
第二次世界大战结束后，霍英东终于以敏锐的眼光，捕捉到了一个发财的机会。日本侵略军投降后，留下了很多机器设备，价钱很便宜，稍加修理就可以用，也可以卖出不错的价格。霍英东很想做这笔生意，于是他成了个读报迷，专门注意报纸上拍卖日军剩余物资的消息，并及时赶到现场，以内行的目光挑选出那些有价值的机器，大批买进，迅速修好后卖出。但由于缺少资金，他难以放手大干。有一次，他看准一批机器，并且在竞买中以1.8万港元中标。有一个工厂老板也看中了这批货，愿意出4万港元从他手中买下，霍英东净赚了2.2万港元，这是他在那几年中赚到的最大一笔钱，为他积累了最初的资本。
