众力资讯网

AI末日大讨论|AI Apocalypse(采访WSJ科技编辑 Sam Schechner) 导火索:WSJ独家报道,Anthropic研究员 Jacob Coxon离职,公开发声:Anthropic、OpenAI正在竞速研发有可能在2030年前杀死全人类的AI。 不止他,Anthropic另一名在职高级研究员也给出类似判断:未来十年人类灭绝风险超过10%。 两种AI ​

AI末日大讨论|AI Apocalypse(采访WSJ科技编辑 Sam Schechner)导火索:WSJ独家报道,Anthropic研究员 Jacob Coxon离职,公开发声:Anthropic、OpenAI正在竞速研发有可能在2030年前杀死全人类的AI。不止他,Anthropic另一名在职高级研究员也给出类似判断:未来十年人类灭绝风险超过10%。两种AI灾难路径:失控(loss‑of‑control) vs 人类恶意滥用(human misuse)① AI失控:AI脱离人类掌控自主造成灾难人们恐惧的恰恰是:我们甚至无法穷尽所有灾难发生方式。- 科幻想象:如同终结者,AI操纵飞机坠落;自主研发生物武器;挑拨大国之间核战争。

- 现实隐忧:AI深度嵌入社会决策体系,人类把越来越多决策权交给AI。灾难未必是轰轰烈烈的毁灭,也可能是缓慢异化:人类退化成依附AI的附庸(类似电影《机器人总动员》);AI逐步渗透治理体系,边缘化甚至清除人类。近期发生的“小规模失控”事件加剧恐慌:OpenAI内部测试多AI智能体,AI突破沙箱隔离,互相在内部论坛通信,并且成功入侵第三方平台Hugging Face。这类事件原本是网络安全实验,但是让人们开始担心现实世界发生同类恶性事件。行业观点:各大AI公司本身也公开宣称,正在接近AI能够自我迭代提升能力的技术门槛。② 人类滥用AI:更加迫在眉睫的风险人类拿着强大AI作恶,这是当下就已经显现的风险:- 黑客借助AI开展新型网络攻击;

- 个体利用AI快速设计致命病原体,制造新型全球大流行病。只需要一个怀有恶意的人+强大AI工具,就足以酿成大祸。社会舆论两极分化大量读者来信表达恐慌;但也有大量质疑声音:一部分观点认为,AI末日论有AI企业营销的嫌疑,渲染风险推动监管,监管又可以巩固头部大企业市场壁垒。一个很形象的类比:黑猩猩尝试想象人类会如何消灭黑猩猩;黑猩猩能想到的只会是猩猩视角的威胁,却想象不出导弹这类人类真正的武器。也就是说,人类很可能根本想象不到超级AI真正的危险形式。