上海解放后，黄金荣最怕见的，就是上级来人，别人可以谢客不见，但是上级来人却是无法拒绝的。 彼时，虽然黄金荣作恶多端，但是因为年龄老迈已经八十多岁，上级表示既往不咎，并没有难为他。 当时上级对黄金荣的要求是能够参与到群众之中，从事一些力所能及的劳动，由一个剥削人民的人变成一个对人民有贡献的人。 对此，黄金荣欣然接受，一个八十多岁的老人，让他去为人民做贡献是不现实的，但是，样子总还是要做一些的。 因此，黄金荣得到了这样的交代：在身体条件允许的情况下，早晨出去扫扫马路。 对于这个要求，黄金荣当然不敢反驳，就这样，黄金荣每天早晨都会去扫马路，不过指定的地点却让他很尴尬。 因为上级指定的地点就是黄金荣自己开办的“荣记大世界”游艺场的门口。 黄金荣接到这个指示，急忙对上级的宽宏表示感谢，这个活儿他还是能够做得来的。 于是，黄金荣每天早晨便到自己开办的“荣记大世界”游艺场的门口去扫大街。 黄金荣扫大街的时候，特意让别人帮他拍了照片，果然，隔了一天，一张非常引人注目的照片便刊登在了上海的各大报纸上。 照片上的黄金荣已经没有了往昔的任何威风，表情呆滞，老态龙钟，双手拄着一把扫帚，挪动矮胖的身躯看着前方的镜头，看上去和一个扫大街的老头一般无二，而他的身后，就是经营了多年的“荣记大世界”。 而与此同时，黄金荣扫大街的消息也迅速传遍了整个上海，许多人专程到大世界门口，争着观看昔日的黄老板如何扫大街。 而远在香港的杜月笙，也通过报纸看到了黄金荣扫大街的照片，他的表情一下子凝固在脸上，继而目光僵直。 许久，杜月笙手中的报纸从手中飘落到了地上，他叹了口气，脸上露出了一丝苦笑，心里不免生出了兔死狐悲的感慨，更是下定决心将香港作为人生最后的居所。 当然，黄金荣扫大街这种劳动只是象征性的，没过多久，这项劳动自然地就停止了。 拍完这张照片没过多久，黄金荣每日提心吊胆，在高度惊恐的精神状态下，便病倒了，这一次病倒，黄金荣再也没有起来，他只能整日躺在床上，无法再站立起来，更无法走路了。 每当清醒之余，黄金荣会偶然间显现出惊噩之状，他一生的罪恶，也成了他最后的心结，1953年6月20日上午，86岁的黄金荣死在了家中，而杜月笙早已在两年前病逝于香港。