注意力机制诞生史：从白俄罗斯实习生的翻译偏方到AI认知的能耗死墙

一句话只要超过二十个单词，人工智能的脑子就当场短路。

这是 2014 年整个 AI 学界撞上的死墙。 不管前面翻得多么通顺，只要句子一长，到后半截全是胡说八道。 当时做机器翻译的主流解法，是把一整句话强行压成一串固定长度的数字。 句子只有五六个词，还能勉强塞进这个小盒子里。 一旦遇到长句子，就像逼你把整本合同死记硬背下来，然后把书合上、凭记忆一个字一个字往外默写。 默写到后半段，开头的主语早就忘干净了。

当时在蒙特利尔大学的实验室里，坐着一个 23 岁的白俄罗斯实习生。 他叫巴赫达瑙（Dzmitry Bahdanau）。 他从小打编程竞赛长大，但在此之前从来没正经做过学术研究。 导师本吉奥（Yoshua Bengio）和同组的博士后曹圭贤，交给他一个题目：做英法机器翻译。 巴赫达瑙自己当时甚至怀疑神经网络根本搞不出真正的人类智能。 但他想起自己小时候在学校学英语时的笨办法。 做翻译的时候，谁会把整篇文章背下来再动笔？ 桌子左边摆着英文原文，右边放着写字纸。 每写下一个法语单词，脑袋就左右转一下，眼睛往原文对应的那个词瞟一眼。 左边瞅一眼，右边写一个。 他突然想：机器为什么非要把整句话硬背成一个死包袱呢？ 每吐出一个词的时候，让机器也回头瞅一眼原文不就行了？

他写了一套数学公式，让解码网络在生成每一个词时，动态给原文的所有词打分。 算一算当前要翻的词，跟原文里的哪几个词关联最强。 关联越紧密的词，权重分得越大。 这套被他们随手称为“注意力”（Attention）的机制，第一次跑实验，当场就跑通了。 长句子的翻译质量，竟然跟短句子一模一样。 卡死所有人的记忆瓶颈，被一个实习生的直觉一拳砸碎了。

到了 2017 年，谷歌的研究团队顺着这个思路，做了一次更大胆的减法。 他们把原来负责按顺序处理句子的循环网络全扔了，只留下这套注意力机制。 写出了那篇被引用超过 25 万次的论文《Attention Is All You Need》，也就是如今无人不知的 Transformer。 从 ChatGPT 到 Claude，整个现代大模型的底座，就这么定了型。

但这里面最让人琢磨不透的地方在于： 当年为了解决英法翻译找出来的一个小技巧，怎么就突然变成了能写代码、解奥数题、做医学诊断的通用大模型？ Quanta Magazine 最近重新梳理了这个起点，发现关键藏在一个极小的代词里。 看看这两句话： 第一句：“动物没有穿过街道，因为‘它’太累了。” 第二句：“动物没有穿过街道，因为‘它’太宽了。” 在法语里，动物是阳性词，街道是阴性词。 机器要把“它”翻成法语，第一句必须选阳性代词，第二句必须选阴性代词。 机器查字典是查不出答案的。 它必须弄明白：在这个世界上，究竟是动物会累，还是街道会宽？ 注意力机制做的事情，就是通过多层向量计算，把句子里所有词的上下文和物理常识，强行编织成了数学关系。

《Attention Is All You Need》的作者之一、后来创立 Sakana AI 的琼斯（Llion Jones）说过一句话： 在计算机科学里，预测下一个词，其实是所谓的“AI 完全问题”。 因为人类文字记录了人类做过的所有事情。 在互联网上接下一句“2 加 3 等于”，机器必须学会算术。 在一长串数学符号后面接下一个符号，机器必须理解高等数学。 在“美国总统是”后面接词，机器必须掌握现实世界的政经事实。 为了在任何语境下都能押对下一个词， 大模型在万亿次微调中，被迫把整个世界的因果逻辑，全压缩进了注意力矩阵里。

但这真的等于机器掌握了智慧吗？ 认知科学最新的研究，给这个结论泼了一盆冷水。 人类大脑的思考，根本不是一套单纯的语言模型。 脑科学实验显示，当人在思考的时候，大脑皮层亮起来的区域，远远超出了专门负责语言的神经网络。 我们的思维，大量扎根在视觉感受、身体运动、空间几何和物理互动中。 语言只是我们把想法打包交换的通讯协议，并不是思维本身。 更扎心的差距在能耗和效率上。 一个小孩学会说话和理解世界，不需要把整个互联网从头到尾读上一遍。 人脑运转的功率只有大约 20 瓦，差不多就是家里一个微弱的小灯泡。 而大模型为了预测下一个词，几万张显卡昼夜轰鸣，动辄消耗几百兆瓦的电力，还在靠暴力堆算力死记硬背。 连当年写出 Transformer 论文的琼斯自己现在都承认： 只靠当前的注意力机制，根本解决不了智能的效率问题。 想要真正逼近大脑那种级别的理解，人类必须跳去一个完全不同的全新范式。

2014 年那个白俄罗斯年轻人的左右转头， 确实给机器装上了一双在语言里识别关联的眼睛。 但看着今天各大科技巨头为了给数据中心供电、排队去签核电站协议， 我们大概很快就会明白： 用算力把语言猜得再熟练，离真正的人脑智能，还差着一整个物理世界。