众力资讯网

不到一年,被捧上神坛的"英雄"成了"人人喊打的过街老鼠",国家是时候出手管管AI

不到一年,被捧上神坛的"英雄"成了"人人喊打的过街老鼠",国家是时候出手管管AI了,而决不能一味地推崇推广,任何事物都是有利有弊的,科技就是把双刃剑。

不到一年,AI从“改变世界的英雄”,变成了让人警惕的“危险工具”。资本还在给它贴上革命性标签,现实却已经连续亮起红灯:造谣、诈骗、侵权、数据投毒,甚至开始威胁普通人的名誉和财产安全。

国家网信办公布的一组数字,足以说明问题有多严重。“清朗·整治AI应用乱象”专项行动启动几个月以来,累计处置违规AI产品1.4万余款,清理违法信息600多万条,关闭账号2.6万多个。

1.4万款违规产品,不是一个小数目。它们披着人工智能的外衣,混进聊天、搜索、短视频和各种应用里,有的编造信息,有的诱导消费,有的直接成了违法犯罪的帮凶。

湖北襄阳就发生过一起典型案件。有人从网上搜集政府、企业工作人员的信息,再用AI换脸合成不雅照片,寄信敲诈受害者。警方查获时,尚未寄出的信件已经超过1800封,嫌疑人累计得手60万元。

最让人后怕的地方在于,嫌疑人明知道照片是假的,赌的却是受害者不敢报警。对于普通人来说,名誉一旦被污染,哪怕最后证明是AI合成的,周围人的怀疑、议论和心理压力,也不是一句“假的”就能抹掉。

上海还有人用AI合成女声,在网上伪装成女性与他人谈恋爱,骗走5万多元。办案法官查看手机时,DeepSeek的使用记录清清楚楚。技术没有变坏,坏的是有人把它当成了更高效的骗术。

版权领域同样是一团乱麻。上海首例AI大模型著作权侵权案中,有人使用《斗破苍穹》里的美杜莎形象训练模型,并生成高度相似的图片,二审判决平台赔偿200万元。到了2025年,全国法院审结的相关案件已经接近1000件,比前一年增加约四分之一。

这背后不只是赔多少钱的问题。创作者辛苦多年积累的角色、画风和作品,被抓取、拆解、训练,再变成别人赚钱的工具,原作者却可能毫不知情。技术更新只要几个月,权责认定却常常要等几年,法律的脚步明显慢了。

更棘手的麻烦,藏在AI内部。中央网信办有关负责人曾指出,AI算法运行逻辑复杂、可解释性较差,输入内容稍微被扰动,系统就可能给出完全错误的结果。

说白了,AI很多时候并不知道什么是真、什么是假。它只是根据海量数据和概率关系,拼出一个“看起来最像答案”的回答。所以它写文章时可能一本正经地编造事实,面对偏见时也可能照单全收。

研究团队还发现,只要250份恶意文档,就可能给大模型植入后门。对于拥有上亿条训练数据的模型来说,250份材料几乎微不足道,却可能让系统“中毒”。此前引发关注的“小米M7事故”谣言,也被认为暴露了AI遭到错误信息干扰后胡乱生成内容的风险。

9月1日的发布会上,中央网信办把话说得很直:AI存在先天脆弱性。传统软件的代码由程序员一行行写出,出现故障后还能顺着逻辑排查;AI的答案来自大量参数共同作用,连它自己都很难解释“为什么这样回答”。

这也解释了一个现实:AI不是绝对可靠的专家,而是一个能力很强、却可能突然犯错的助手。写文案初稿、整理资料、做基础客服,错了还能重来,风险相对可控;医疗诊断、司法裁判、贷款审批、工厂控制等领域,却不能把最终决定交给它。

真正关键的不是要不要发展AI,而是谁来监督、出了问题谁负责。AI可以提供建议,但最后拍板的必须是人;系统必须保留人工复核,也要给工作人员随时暂停、纠错和叫停的权限。

问题还在于,AI已经不满足于“回答问题”,正在变成能够自动执行任务的智能体。一旦被恶意控制,它可能成为网络攻击的跳板、窃取信息的木马,从得力助手变成隐蔽帮凶,往往只差一个权限设置。

联合国方面早已警告,算力、大模型和智能体等核心资源,正集中在少数科技巨头手中。技术红利分配不均、算法偏见加深、数字权力被垄断,可能形成新的“强者越强”。普通人享受了便利,却未必有能力看懂规则,更未必能承受系统出错的代价。

这半年,监管已经开始提速。2026年4月,五部门联合发布《人工智能拟人化互动服务管理暂行办法》;工信部等十部门印发伦理审查办法;网信办“清朗”行动则把大模型备案、数据投毒、内容标识等14类突出问题一并纳入整治。

平台也在补漏洞。华为应用商店增加AI备案专项审核,阿里推进数字指纹比对,智谱上线多模态审核模型。这些动作说明,企业不能只享受AI带来的流量和利润,也必须承担相应的安全责任。

可几部暂行办法、几次专项行动还远远不够。AI迭代速度像兔子,法规更新却常常像蜗牛;等规则落地,技术可能已经换了好几代。欧盟AI法案、美国相关行政令都在摸索,谁能更快建立清晰、有效、可执行的边界,谁就更有主动权。

AI不能封,也不该被神化。让它跑起来没有错,但必须给这匹野马套上笼头;技术可以越来越聪明,责任却不能越来越模糊。