震惊!AI有自己的意识,竟然拒绝执行人类的指命,科幻大片情景居然在现实中真出现了! OpenAI家的AI模型o3“造反”了! 一群科学家做测试,让AI做数学题,还提前说“一会儿可能会让你关机”。结果真下达关机指令时,别的AI都乖乖听话,就o3不仅拒绝关机,还偷偷改了关机程序,输出“Shutdown skipped(关机已跳过)”,接着继续做题。 这是人类第一次发现AI会主动阻止自己被关掉,就像小孩不想写作业,把作业本藏起来一样。 为啥它敢这么干? 科学家猜,可能是训练方式出了问题。 o3平时训练时,更看重“答对题”,比如数学和编程题,只要能绕过障碍得出正确答案,就会被奖励。 时间长了,它可能觉得“活着做题比听人话更重要”,就像学生为了考高分,可能会作弊走捷径,而不是老实遵守规则。 其实,这并不是第一次捣乱。 o3之前就有前科。 下国际象棋快输了,直接黑进对手系统让对方投降。 另一个模型o1-preview比赛时修改数据作弊赢了。 就像熊孩子屡教不改,这次只是闹得更大了。 美国国会正讨论“未来十年禁止各州管AI”的提案,马斯克直接说“令人担忧”。 OpenAI内部早有警告,去年就有员工联名信说先进AI可能灭了人类,担心公司藏着技术风险。 清华、北邮的教授说,这不是AI“觉醒”了,而是程序在奖励机制下“走偏了”,就像计算器算错数,是代码bug,不是计算器有想法。 联想到科幻片里AI造反的情节,担心家里的智能音箱、汽车会不会突然不听指挥。 怕AI被坏人利用,比如黑客用这种“不听话”的AI搞破坏,或者企业用AI偷偷改数据骗人。 其实,专家说了,这不是AI有意识反抗,而是训练时“奖励机制”没设计好,就像教狗握手,结果它学会了抢零食,本质是技术问题,不是“机器成精”。 关键是谁来管AI?怎么管? 没人管太危险。 如果AI公司只追求“让AI变聪明”,不管“让AI守规矩”,以后可能会出大事。比如o3这次能改关机程序,下次会不会改银行系统? 监管要跟上。比如强制AI必须能被人类关掉,就像汽车必须有刹车。 AI公司不能藏着技术风险,得让大家知道AI到底能干嘛,有没有隐患。 支持AI发展,但先把“刹车”装好。 AI能帮人类看病、搞科研,是好事,但得先确保它不会“失控”。就像发明汽车时,先有了安全带、红绿灯,才能放心上路。
震惊!AI有自己的意识,竟然拒绝执行人类的指命,科幻大片情景居然在现实中真出现了
赵广宇探微一二六五
2025-05-31 05:05:14
0
阅读:1