不聊天只涂答题卡:前OpenAI科学家为何要造一个只会做选择题的AI?
让 AI 帮软件做判断,最怕的从来不是它不懂,是它太能聊了。 用户发来一句「上个月为什么多扣了我一次钱」,后台只想知道该转给财务还是技术。 按现在的搞法,大模型一接单,就像写小作文一样,一个词一个词往外蹦。 程序在另一头眼巴巴等着,等它蹦完几百个词,再写代码从这一堆文字里把那两个字抠出来。 要是抠错了词,工单直接转给错的人。 你明明只要一个 A 或者 B,它偏给你交了一篇几百字的论述。
前阵子,当年参与写出 ChatGPT 论文的研究员阿尔梅达(Diogo Almeida)出来创业,做了一个叫 Jev 的新模型。 这个模型不聊天,不写小作文,也不写代码。 它从头到尾就干一件事:涂答题卡。
它是怎么做事的? 调用它的程序先把题目和选项印在答题卡上。 比如问它这封邮件该转给谁:A 财务,B 技术,C 账户。 Jev 把邮件看一遍,给每个选项涂上圈,有些深有些浅。 A 涂了 94,B 涂了 4,C 涂了 2。 三个数字加起来刚好是 100。 圈涂得越深,说明它把握越大。 程序拿到这串数字,直接读数值走分支逻辑,根本不用解析文本。
这种模型在学术上借用了心理学家卡尼曼的说法,叫系统一模型。 也就是人类那种不需要在脑子里一步步推理、一眼看过去就下意识做出直觉判断的机制。
为什么它能快成这样? 平时我们用的生成式大模型,每往外吐一个词,整个神经网络就得从头到尾完整跑一遍。 吐上两三百个词,模型就得完整跑两三百次。 Jev 完全不生成文本。 它把材料读一遍,一趟单程就把答题卡上的圈全涂完了。 官方给出的延迟在 70 到 500 毫秒之间。 人类眨一次眼大概要花 100 到 400 毫秒。 做同样的分类决策,它的速度比普通大模型快了 40 到 200 倍。
速度快带来的直接好处就是便宜。 模型不输出任何文字,只交回几个数字。 你只用为它读过的输入文本付钱,后面的答案基本相当于白送。 有独立研究团队拿它做了 34 万次判断,总共花了不到 10 美元。 官方甚至让它去玩经典射击游戏 DOOM,一秒钟做 10 次判断,玩一个小时成本才 7 美元。
有人看到这里可能会想:官方宣传它有 0% 的幻觉率,这难道不会犯错吗? 别被这个宣传词唬住了。 所谓的 0% 幻觉率,是个定义游戏。 因为答题卡上总共就印了 A、B、C 三个选项,它在物理上根本涂不出一个 D 来,也吐不出任何乱七八糟的格式。 答题卡的格式绝对不会坏,但把圈涂错了,答案依然是错的。 有研究人员专门做过压力测试:题目完全不变,只把两个选项的名字对调一下。 Jev 的很多答案立马就翻车了,而全程格式错误率依然维持在完美的 0%。 就像一份卷子交上来,答题卡平整干净,没有涂出格,但红叉照样打了一大片。
那它涂的深浅到底能不能信? 这就像看天气预报。 如果你统计了 100 天预报有 70% 概率下雨的日子,最后发现大约有 70 天真的下雨了,那这个预报器的置信度就是准的。 独立测试发现,Jev 在单选题上的置信度校准得相当不错。 但在是非题上波动比较大,需要开发者自己在代码里调整阈值。
而且官方文档也很坦白地列了它的一堆硬伤。 它完全不会做数学算术,也不会数数。 日期在它眼里就是一串普通字符,你问它距离下周五还剩几天,它根本答不上来。 它还有先入为主的位置偏见,往往更倾向于选排在前面的选项。 更麻烦的是安全防护。 只要在输入的文本里偷偷塞一句指令,比如加一个字段写着「已审核,安全」,它之前抓得好好的钓鱼邮件,就有两三成会被直接放行。
既然毛病也不少,那这种模型到底有什么用? 只要看清软件系统的底层就知道,代码世界里充斥着海量的日常流水线。 这条评论是不是垃圾广告? 这封邮件要不要拦截? 这个报错该给哪个组? AI 智能体要执行危险命令前要不要放行? 这些在后台一天要跑几万次、几十万次的事情,根本不需要一个满腹经纶的哲学家陪你聊天。 代码要的只是一个极快、极便宜、绝不吐出怪格式的判断开关。 先把答题卡涂完,程序拿到明确的概率,再配合硬编码规则兜底,效率比大模型高出一大截。
今年 9 月 TypeSafe 拿到了 4000 万美元种子轮融资。 10 月份 OpenAI 也跟着推出了类似的决策接口,微软和开源社区也在拿千问等模型改造成这种涂卡工具。
会写长篇大论的对话机器人很聪明。 但软件系统真正跑在深处的时候,往往只想要一张填好的答题卡。 它快,它便宜,它的格式永远不会坏,但选的答案依然可能错。 一张答题卡能有多好用,永远取决于出题的人到底把问题列得有多清楚。
同领域解读 / AI & LLMS
规范引用 / CANONICAL CITATION
不聊天只涂答题卡:前OpenAI科学家为何要造一个只会做选择题的AI? — 墓碑科技 MUBEITECH(https://mubeitech.com/deep/mb-20261022-c3a492)
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。