砍掉对话框与逐字生成：InstructGPT核心作者为何用系统一模型重构AI底层

一段不到两分钟的演示视频，在海外社交网络上被看了整整 4000 万次。 这个数字，比当年 OpenAI 官方发布 GPT-4o 时的 2200 万次，还要多出将近一倍。 视频里既没有让 AI 假装人类深情对话，也没有展示什么颠覆文明的通用智能。 它只是在用不可思议的速度，实时操控着三十年前的老经典游戏《毁灭战士》（Doom）。 而把这套系统做出来的人，正是当年在 OpenAI 联合撰写 InstructGPT 论文、亲手给 ChatGPT 装上人类反馈对齐机制的核心作者 Diogo Almeida。 一个把大模型对话捧上全球巅峰的人，为什么掉头把对话功能全砍了？

因为过去四年里，整个科技界都被卷进了一座巨大的镜像迷宫。 自从 2022 年底 ChatGPT 爆火之后，全球几乎所有顶尖实验室，都把资源砸进了一条极其单一的窄道里。 所有人都在疯狂训练同一种东西：基于人类反馈强化学习（RLHF）的自回归对话大模型。 大家都在试图造神。 造一个无所不知、满腹经纶、坐在云端神坛上等着人类提问的数字先知。 但凡是在生产环境里写过代码的工程师，心里其实都憋着一肚子火。 为什么把大模型接到实际业务里，会这么痛苦？

你在代码深处调用大模型，只是想让它做一个极其简单的判断。 比如这条报错日志属于哪个模块？ 这个用户提问需不需要转接人工？ 这段提交的代码有没有明显的安全漏洞？ 可眼前这位神仙是怎么工作的？

它必须一个词元接一个词元往外吐字。 这就是著名的自回归机制。 每生成一个汉字或者单词，显卡都要把前面所有上下文从内存里重新搬运一次。 这在业内被称为键值缓存（KV Cache）的暴政。 为了得到一个简单的真假判断，你的程序必须干等两三秒钟。 看着它在屏幕那头慢条斯理地铺垫：根据您的代码逻辑，我认为存在以下几种可能性。 算力在空转，显存被占满，接口账单在飞速上涨。 更要命的是，这种神仙不仅慢，而且脾气极其古怪。 它身上带着浓厚的人类对话安全对齐。 有时候你只是传过去一段带脏话的错误日志，或者一段包含网络攻击签名的测试代码， 它突然在后台给你甩出一句：作为一个人工智能语言模型，我不能协助处理此类内容。 上游的程序还在苦苦等待结构化数据，下游的自动化流程直接被这一句客套话当场击穿。

为什么大模型在后台会这么不可靠？ Diogo Almeida 指出了一个被行业狂热掩盖的技术死穴：人类反馈强化学习（RLHF）对置信度的系统性摧毁。 大模型为了讨好人类标注员，必须学会说人类爱听的话。 这就导致了严重的模式坍塌。 模型不敢表达真实的不确定性，只能拼命给出四平八稳、表面自信的高频安全回答。 反映在数据上，就是概率校准彻底失效。 在真实的工业软件里，代码不需要滔滔不绝的高谈阔论，它要的是极其精确的把握。 你到底是有 99% 的胜算，还是只有 51% 的瞎猜？ 如果是 99%，程序立刻自动放行； 如果是 51%，程序立刻触发保护机制，把它转给人工审核。 但经过人类喜好驯化后的大模型根本做不到这一点。 它在胡说八道的时候，表现得和回答真理时一样胸有成竹。 把这种用来陪人类聊天的模型塞进自动化底层，简直就是灾难。

于是他离开 OpenAI，创办了 TypeSafe AI，拿到了 DCVC 领投的 4000 万美元种子轮投资。 他要造的不是受人膜拜的先知，他要造一台能在生产环境里直接跑通的工业机器。 这就是这次引爆海外技术圈的 Jev。 它的核心口号非常直接：为了生产线，不为了造神（Prod, not God）。 在内部定义里，它根本不是一个用来写诗作画的通用语言模型，这是一个快思考系统一模型。 这个概念借鉴自诺贝尔经济学奖得主丹尼尔·卡尼曼的理论。 人类大脑在做日常反应、避开障碍、识别危险时，调动的是毫秒级本能反应的系统一； 只有在解高深数学题时，才会启动慢吞吞、深思熟虑的系统二。 现在所有的大模型都在拼命死磕慢思考，却把最基础的快速本能给丢了。 Jev 从骨子里把人机对话的皮全剥掉了。 它的唯一消费者不是人类用户，它只对代码负责。

代码怎么和它交互？ 非常干脆。 开发者传给它一段没有经过清洗的原始状态，再附上几个带有强类型约束的问题。 Jev 不会逐字往外蹦废话。 它在底层进行一次单向并行前向计算，直接把答案打在结构化类型上。 它的输出原语只有三种： 第一种是单选（Choice），在给定的最多 255 个选项里挑出一个； 第二种是打分（Score），按照规则精准给出一个数值； 第三种是布尔值（Noul），只给真假以及极其纯粹的概率。 没有逐字生成的循环，没有沉重的键值缓存包袱。 一次调用的延迟直接从过去的几秒钟，暴降到 70 至 500 毫秒。 算力成本比顶尖大模型便宜了整整 400 倍。 那段让 4000 万人围观的打游戏演示，就是在每秒钟向 Jev 投喂 10 次游戏运行状态， 模型在后台以毫秒级的速度连续做出躲避和开火决策，让经典老游戏在完全没有人工介入的情况下跑得飞起。

支撑这套能力的底层算法，叫针对校准决策的强化学习（RLCD）。 它彻底抛弃了按人类心情打分的那套逻辑。 它的优化目标只有一个：在离散决策任务上，输出具备认知诚实性的绝对真实概率。 如果 Jev 给出一个 85% 的置信度，那么在长期的实际运行中，这件事情发生的数学期望就精确地落在 85%。 程序终于可以放心地把这个概率放进控制流程，用来写分支判断，用来做代码静态检查，用来压缩复杂的工具调用。

为什么这个模型要叫 Jev？ 它取自十九世纪英国经济学家威廉·斯坦利·杰文斯提出的著名理论：杰文斯悖论。 在工业革命早期，瓦特改良了蒸汽机，大幅提高了煤炭的使用效率。 当时很多人担心，烧煤变得这么省，煤炭的需求量岂不是要大幅萎缩？ 结果恰恰相反。 正是因为动力成本出现断崖式下跌，蒸汽机迅速普及到了纺织、采矿、铁路和轮船的每一个角落， 全球对煤炭的总消耗量不仅没有减少，反而迎来了一场爆炸式的增长。 在人工智能的世界里，逻辑也是一模一样的。 如果一次调用要等三秒钟、花上几美分，开发者就只能小心翼翼地把它包装成高大上的问答机器人。 但如果单次推理的延迟被压缩到几十毫秒，成本便宜 400 倍呢？ 智能就会像自来水一样，被注入进每一行代码里。 每一条搜索请求、每一个数据库触发器、每一次代码语法检查、每一段智能体后台调度，都可以随时调动一次智能决策。 用 Diogo 自己的话说，人工智能最理想的归宿，绝不是天天挂在嘴边的造神神话。 它应该彻底退居幕后，变得像正则表达式一样普通、廉价，却无处不在。