AI幻觉成WAIC首个热议词讯飞X1幻觉治理新突破幻觉(Hallucinatio

量子位看科技 2025-07-28 12:23:09

AI幻觉成WAIC首个热议词讯飞X1幻觉治理新突破

幻觉(Hallucination)成今年WAIC首个热议词。

Hinton首次中国亮相就谈幻觉。他指出,人类和大语言模型在理解语言时可能方式一致,因此人类也可能像AI一样“产生幻觉”。

这意味着,AI不只是会出错,它出错的方式,甚至和人类一样“合理”。这背后,是大模型生成机制本身的问题,而不是简单的bug。

郑南宁院士则从技术本身剖析问题。他指出,幻觉已经成为制约AI可靠性和落地实用性的核心挑战。原因在于当前大模型是基于统计相关性生成内容,缺乏结构化知识表达和因果推理能力,无法实现自我纠错和认知跃迁。

同时他也提到,如果未来AI逐步主导自己的训练流程,可能加速演化,超出人类的可控边界。

产业界也同步聚焦幻觉治理。讯飞星火X1此次发布升级版本,明确以幻觉治理为重点突破方向。

升级亮点包括:

- 强化学习+细粒度反馈:不止给“总分”,还给“评语”,提升模型逻辑推理训练效率;

- 数据反写引擎:降低获取高质量训练数据的门槛;

- 多路径采样+事实性约束RL:对抗慢思考下的幻觉,提升回答内容的事实准确性和引用忠实性。

与此同时,OpenAI、谷歌、Anthropic等也罕见联手发起幻觉相关研究,提出用CoT(思维链)监测来控制AI Agent的行为路径。

可以看到,从Hinton到郑南宁,从产业落地到前沿研究,所有视角都在围绕同一个核心命题:当AI能力不断进化,我们如何构建“可信”的AI。

而讯飞星火X1的升级,正是可信AI在产业层面的一个具体回应:当AI能自我校验、持续优化、安全输出,才能真正走出实验室,落地千行百业。

0 阅读:0
量子位看科技

量子位看科技

感谢大家的关注