科学家们用一种名为“QuietSTaR”的技术训练了一个人工智能系统，让它在说话前先思考。三思而行提高了常识推理能力，并使其数学成绩翻了一番。

一项新的研究表明，给人工智能系统一个“三思而行”的功能，会大大提高它们的推理能力。

这种方法训练的人工智能系统，会在对提示做出反应之前进行思考，就像许多人在说话之前会考虑我们接下来应该说什么一样。这与科学家训练主流人工智能聊天机器人的方式不同，比如ChatGPT，它们不会“思考”自己写的内容，也不会预测对话中下一步的不同可能性。

这种新方法被称为“Quiet-STaR”，它指示人工智能系统在回应对话提示之前并行生成许多内在原理。当人工智能回答提示时，它会将这些有或没有基本原理的预测混合在一起，打印出最佳答案 —— 这可以由人类参与者根据问题的性质进行验证。

最后，它通过抛弃那些被证明是错误的基本原理来学习。实际上，这种训练方法使人工智能代理能够预测未来的对话，并从正在进行的对话中学习。

研究人员将Quiet-STaR算法应用于Mistral 7B，这是一个开源的大型语言模型（LLM），并于3月14日将结果发布在预印本数据库arXiv上。（该论文尚未经过同行评议。）

“Quiet-STaR”训练过的“Mistral 7B”在推理测试中的得分为47.2%，而训练前的得分为36.3%。它在学校的数学考试中仍然不及格，得分为10.9%。但这几乎是vanilla版5.9%的初始分数的两倍。

像ChatGPT和Gemini这样的模型是由神经网络构建的 —— 机器学习算法的集合，以模仿人类大脑的结构和学习模式的方式排列。然而，使用这种架构构建的系统在常识推理或情境化方面非常糟糕 —— 人工智能聊天机器人并没有真正的“理解”。

过去提高LLM推理能力的尝试是高度特定于领域的，无法应用于不同类型的人工智能模型。

研究人员将自学推理器（STaR）算法作为他们工作的基础，这是这种训练算法的一个例子，但受到这些限制的阻碍。

开发 Quiet STaR 的科学家之所以将其如此命名，是因为它的原理可以在后台悄悄地应用于几种不同类型的LLM，且独立于原始训练数据。现在，他们想研究，像他们这样的技术如何缩小基于神经网络的人工智能系统和类人推理能力之间的差距。

如果朋友们喜欢，敬请关注“知新了了”！