其它·via @mubei·100.0 分
AI 最让人停不下来的地方,是它先学会了预测。 Sam Altman 提到 Ilya Sutskever 一句话,他一直…
AI 最让人停不下来的地方,是它先学会了预测。 Sam Altman 提到 Ilya Sutskever 一句话,他一直记到现在: "预测非常接近智能。"
这句话看着轻,背后是生成式 AI 的核心赌注。 把世界的信息、状态、关系,压缩成一个更小的表征。 再用这个表征,判断下一刻会出现什么。
如果它总能猜中下一个词、下一帧、下一步动作,说明什么? 说明它开始越过背答案的阶段。 它开始摸到数据背后的结构。
人类理解世界,也常常是这么干的。 看见乌云,预测下雨。 听完半句话,预测对方要表达什么。 读完一段代码,预测哪里会崩。
当年很多 AI 研究者对生成式模型异常兴奋,却说不清那股兴奋从哪来。 Altman 给出的解释很简单。 因为预测能力一旦足够强,就会逼近理解。
所以大模型看起来像是在补全句子,实际训练目标大得多。 它要把海量文本、图像、代码、声音,压成能继续推演世界的内部表示。 每一次预测下一个 token,都是在练习怎样把混乱世界变成可计算的秩序。
分水岭已经从语言表演移到预测精度。 机器每前进一步,统计和理解之间的边界就退后一格。