深度解读AI 与大模型generatedpublished

理论物理测试反转:AI坚持自己没错,专家复核后发现真是人类算错了

机制

拿顶尖物理学家的答案考AI,反被AI挑出一堆计算错误。

这个测试叫 TheoPhysEval。 出题人找了 50 道从未发表过的理论物理前沿题。 题目难度有多高? 哪怕是这个细分领域最顶尖的世界级物理学家,没有 AI 帮忙,解一道题平均也得花上一整天;要是换成隔壁方向的专家,花的时间还要长得多。

测试的方法很简单。 给现成的 AI 智能体配上真实研究工具:可以上网搜文献,可以用代码跑数值模拟和符号推导。 不需要人类给任何提示,让它自己解。

一开始出分的时候,表现最好的 GPT-6-Astra 拿了 80 多分。 研究团队觉得差不多了,准备去复盘那十几道扣分项,看看模型到底在哪些步骤上掉进了陷阱。

结果离奇的事情发生了。 模型,特别是 Astra,非常顽固地坚持自己没有算错。 它直接给出推导过程,反过来告诉研究人员:是专家提供的参考答案错了。

研究人员也有点拿不准,只好拿着模型的解题步骤,回头去找当初出题的那批物理学家。 专家们坐下来一步一步重新验算。 结果在好几道题里,专家真的在自己极其繁复的草稿深处,找到了藏得非常深的细微计算失误。

专家的答案一改,Astra 的得分就开始一路往上窜。 最终成绩定格在 98%。 50 道顶级物理题,它做对了 49 道。 更夸张的是成本:平均解一道题,只要不到 3 美元。

原本所有人都以为,人类专家的计算是终极的标尺,用来给人工智能打分。 结果这一仗打完,事情整个反过来了: AI 成了那把尺子,物理学家反而成了被拿去校准的人。

引用 / CITATIONS

No citations exported.

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情