{"id":"mb-20261012-d1ad6a","kind":"deep","title":"注意力机制诞生史：从白俄罗斯实习生的翻译偏方到AI认知的能耗死墙","summary":"2014年白俄罗斯实习生巴赫达瑙为破解长句翻译瓶颈发明了注意力机制，随后演化为支撑现代大模型的Transformer架构。通过将语言上下文转化为向量计算，AI在预测下一个词的过程中展现出惊人能力；然而认知科学与能耗对比表明，暴力堆算力的语言模型与仅需20瓦功耗的人脑思维存在本质鸿沟。","body":"一句话只要超过二十个单词，人工智能的脑子就当场短路。\n\n这是 2014 年整个 AI 学界撞上的死墙。\n不管前面翻得多么通顺，只要句子一长，到后半截全是胡说八道。\n当时做机器翻译的主流解法，是把一整句话强行压成一串固定长度的数字。\n句子只有五六个词，还能勉强塞进这个小盒子里。\n一旦遇到长句子，就像逼你把整本合同死记硬背下来，然后把书合上、凭记忆一个字一个字往外默写。\n默写到后半段，开头的主语早就忘干净了。\n\n当时在蒙特利尔大学的实验室里，坐着一个 23 岁的白俄罗斯实习生。\n他叫巴赫达瑙（Dzmitry Bahdanau）。\n他从小打编程竞赛长大，但在此之前从来没正经做过学术研究。\n导师本吉奥（Yoshua Bengio）和同组的博士后曹圭贤，交给他一个题目：做英法机器翻译。\n巴赫达瑙自己当时甚至怀疑神经网络根本搞不出真正的人类智能。\n但他想起自己小时候在学校学英语时的笨办法。\n做翻译的时候，谁会把整篇文章背下来再动笔？\n桌子左边摆着英文原文，右边放着写字纸。\n每写下一个法语单词，脑袋就左右转一下，眼睛往原文对应的那个词瞟一眼。\n左边瞅一眼，右边写一个。\n他突然想：机器为什么非要把整句话硬背成一个死包袱呢？\n每吐出一个词的时候，让机器也回头瞅一眼原文不就行了？\n\n他写了一套数学公式，让解码网络在生成每一个词时，动态给原文的所有词打分。\n算一算当前要翻的词，跟原文里的哪几个词关联最强。\n关联越紧密的词，权重分得越大。\n这套被他们随手称为“注意力”（Attention）的机制，第一次跑实验，当场就跑通了。\n长句子的翻译质量，竟然跟短句子一模一样。\n卡死所有人的记忆瓶颈，被一个实习生的直觉一拳砸碎了。\n\n到了 2017 年，谷歌的研究团队顺着这个思路，做了一次更大胆的减法。\n他们把原来负责按顺序处理句子的循环网络全扔了，只留下这套注意力机制。\n写出了那篇被引用超过 25 万次的论文《Attention Is All You Need》，也就是如今无人不知的 Transformer。\n从 ChatGPT 到 Claude，整个现代大模型的底座，就这么定了型。\n\n但这里面最让人琢磨不透的地方在于：\n当年为了解决英法翻译找出来的一个小技巧，怎么就突然变成了能写代码、解奥数题、做医学诊断的通用大模型？\nQuanta Magazine 最近重新梳理了这个起点，发现关键藏在一个极小的代词里。\n看看这两句话：\n第一句：“动物没有穿过街道，因为‘它’太累了。”\n第二句：“动物没有穿过街道，因为‘它’太宽了。”\n在法语里，动物是阳性词，街道是阴性词。\n机器要把“它”翻成法语，第一句必须选阳性代词，第二句必须选阴性代词。\n机器查字典是查不出答案的。\n它必须弄明白：在这个世界上，究竟是动物会累，还是街道会宽？\n注意力机制做的事情，就是通过多层向量计算，把句子里所有词的上下文和物理常识，强行编织成了数学关系。\n\n《Attention Is All You Need》的作者之一、后来创立 Sakana AI 的琼斯（Llion Jones）说过一句话：\n在计算机科学里，预测下一个词，其实是所谓的“AI 完全问题”。\n因为人类文字记录了人类做过的所有事情。\n在互联网上接下一句“2 加 3 等于”，机器必须学会算术。\n在一长串数学符号后面接下一个符号，机器必须理解高等数学。\n在“美国总统是”后面接词，机器必须掌握现实世界的政经事实。\n为了在任何语境下都能押对下一个词，\n大模型在万亿次微调中，被迫把整个世界的因果逻辑，全压缩进了注意力矩阵里。\n\n但这真的等于机器掌握了智慧吗？\n认知科学最新的研究，给这个结论泼了一盆冷水。\n人类大脑的思考，根本不是一套单纯的语言模型。\n脑科学实验显示，当人在思考的时候，大脑皮层亮起来的区域，远远超出了专门负责语言的神经网络。\n我们的思维，大量扎根在视觉感受、身体运动、空间几何和物理互动中。\n语言只是我们把想法打包交换的通讯协议，并不是思维本身。\n更扎心的差距在能耗和效率上。\n一个小孩学会说话和理解世界，不需要把整个互联网从头到尾读上一遍。\n人脑运转的功率只有大约 20 瓦，差不多就是家里一个微弱的小灯泡。\n而大模型为了预测下一个词，几万张显卡昼夜轰鸣，动辄消耗几百兆瓦的电力，还在靠暴力堆算力死记硬背。\n连当年写出 Transformer 论文的琼斯自己现在都承认：\n只靠当前的注意力机制，根本解决不了智能的效率问题。\n想要真正逼近大脑那种级别的理解，人类必须跳去一个完全不同的全新范式。\n\n2014 年那个白俄罗斯年轻人的左右转头，\n确实给机器装上了一双在语言里识别关联的眼睛。\n但看着今天各大科技巨头为了给数据中心供电、排队去签核电站协议，\n我们大概很快就会明白：\n用算力把语言猜得再熟练，离真正的人脑智能，还差着一整个物理世界。","topic":"注意力机制诞生史：从白俄罗斯实习生的翻译偏方到AI认知的能耗死墙","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-12 16:11:25","legal_anchor_count":0,"transcript_citation_count":0}