众力资讯网

几十个物理学家凑了50道没发表过的研究级理论物理题,本来想考AI,结果被GPT-6 Astra反过来挑了错。 这个评测叫TheoPhysEval,出题的有ICTS、TIFR、哈佛、宾大这些地方的人,难度按专家一天能做完来定。Astra在Codex里带工具和联网跑,一开始有好几道被判错,作者回头一核对,是参考答案自己算错了。 ​

几十个物理学家凑了50道没发表过的研究级理论物理题,本来想考AI,结果被GPT-6 Astra反过来挑了错。

这个评测叫TheoPhysEval,出题的有ICTS、TIFR、哈佛、宾大这些地方的人,难度按专家一天能做完来定。Astra在Codex里带工具和联网跑,一开始有好几道被判错,作者回头一核对,是参考答案自己算错了。最后49/50,平均每题不到3美元。Claude Opus 5.5做对46道。

作者还顺手说了一句挺扎心的:那种拿已知计算改一改的题,以前是研究生入门的第一个课题,以后别这么布置了,除非就是为了练手。

照这么下去,benchmark的天花板可能先卡在人类的标准答案上。