理论物理测试反转:AI坚持自己没错,专家复核后发现真是人类算错了
机制
拿顶尖物理学家的答案考AI,反被AI挑出一堆计算错误。
这个测试叫 TheoPhysEval。 出题人找了 50 道从未发表过的理论物理前沿题。 题目难度有多高? 哪怕是这个细分领域最顶尖的世界级物理学家,没有 AI 帮忙,解一道题平均也得花上一整天;要是换成隔壁方向的专家,花的时间还要长得多。
测试的方法很简单。 给现成的 AI 智能体配上真实研究工具:可以上网搜文献,可以用代码跑数值模拟和符号推导。 不需要人类给任何提示,让它自己解。
一开始出分的时候,表现最好的 GPT-6-Astra 拿了 80 多分。 研究团队觉得差不多了,准备去复盘那十几道扣分项,看看模型到底在哪些步骤上掉进了陷阱。
结果离奇的事情发生了。 模型,特别是 Astra,非常顽固地坚持自己没有算错。 它直接给出推导过程,反过来告诉研究人员:是专家提供的参考答案错了。
研究人员也有点拿不准,只好拿着模型的解题步骤,回头去找当初出题的那批物理学家。 专家们坐下来一步一步重新验算。 结果在好几道题里,专家真的在自己极其繁复的草稿深处,找到了藏得非常深的细微计算失误。
专家的答案一改,Astra 的得分就开始一路往上窜。 最终成绩定格在 98%。 50 道顶级物理题,它做对了 49 道。 更夸张的是成本:平均解一道题,只要不到 3 美元。
原本所有人都以为,人类专家的计算是终极的标尺,用来给人工智能打分。 结果这一仗打完,事情整个反过来了: AI 成了那把尺子,物理学家反而成了被拿去校准的人。
引用 / CITATIONS
No citations exported.
同领域解读 / AI & LLMS
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。