谷歌DeepMind认为,大型语言模型永远无法做出真正的科学发现。
他们发表了一篇论文,剖析了阿尔伯特·爱因斯坦对科学发现的私人观点。
在给朋友莫里斯·索洛文的著名信件中,爱因斯坦绘制了一幅科学实际发生过程的图表。
这是一个循环回路。
首先,你体验原始感官数据。然后,通过一种神秘的、非逻辑的直觉行为,你做出一个直觉性的“跳跃”,到达抽象公理。最后,你使用严格的逻辑演绎,从这些公理中推导出结果。
生成式AI已经完全掌握了这个回路的三分之二。
• 归纳:跨越数十亿标记的统计模式匹配。• 演绎:形式化证明生成,比如AlphaProof解决复杂数学奥林匹克竞赛。
AI可以处理数据,它也可以证明定理。
但它无法做出那个跳跃。
论文认为,AI完全缺乏溯因推理,即在观测数据稀缺时生成新颖解释性假设的过程。
主流科技神话宣称“创造力只是数据压缩”。如果给大型语言模型输入足够多的文本,科学突破就会自然而然地冒出来。
爱因斯坦对广义相对论的表述证明了这是妄想。
当爱因斯坦表述相对论时,观测数据并不要求一个新的物理框架;经典力学仍然大获成功。这个突破需要一个概念断裂。从物理现实到全新基础公理集的直觉飞跃。
大型语言模型可以在给定公理后执行数学计算。但它在结构上无法自行表述这些前提。
它可以在现有的人类思想内部进行插值,但它无法超越它。
将物理现实转化为形式公理仍然是人工科学发明中绝对的、难以逾越的瓶颈。
我们可以构建拥有万亿参数的模型。我们可以将计算能力扩展到天际。
我们可以让计算器无限快速。
但在解决 grounding 问题之前,机器可以处理宇宙中所有数据。
它仍然无法做出那个跳跃。
