人类真不知道AI怎么想的？诺奖得主辛顿拆解反向传播与黑盒机制

现在的 AI 明明是工程师敲代码造出来的，为什么发明它的人却说，人类根本不知道它在里面怎么算出来的？ 哥伦比亚广播公司《60分钟》的主持人佩利（Scott Pelley），曾当面质问辛顿（Geoffrey Hinton）。 辛顿在 1986 年搞出了训练现代神经网络的核心算法，在 2024 年拿了诺贝尔物理学奖。 佩利问他：这不是人类设计出来的吗？怎么可能不知道它怎么工作的？ 辛顿说：不，它不是人类设计的。我们只设计了它学习的规则。 什么叫只设计了学习的规则？ 它跟平时程序员敲代码，到底差在哪？ 我们平时以为的写软件，是人类把每一步规矩定死。 比如写一个算税收的程序，或者写一个图书管理系统。 第 10 行写输入收入，第 20 行写超过 5000 块扣多少百分比，第 30 行把扣完的钱打在屏幕上。 计算机每走一步，都在严格执行人写好的指令。 如果算错了一分钱，程序员打开代码，顺着行号一行行往下查，肯定能在某一行抓到那个打错的字符。 在这种系统里，人类是绝对的设计师，计算机只是个听话的算盘。 但神经网络完全不这么干。 如果让工程师用这种传统办法，去教电脑认一张猫的照片，工程师当场就得投降。 天底下的猫有黑的、白的、花纹的，有正脸、侧脸、趴着的，甚至只露出一只耳朵。 人类根本写不出几万行规则，把全天下所有猫的外貌特征全穷举出来。 于是辛顿他们在 1986 年换了一条路。 人类干嘛费劲去写那套认猫的规则？ 我们直接写一个它自己怎么学的数学机制。 这个机制在代码里其实短得惊人，核心就是两样东西：反向传播算法和梯度下降。 加起来甚至用不了几百行代码。 这几百行代码干嘛用的？ 它不负责认猫，它只负责挨揍改错。 一开始，神经网络就是一个空架子。 里面堆了几千亿个像神经元一样的连接点，每个点上随便填一个随机数字，这叫参数或者权重。 你给它看一张猫的照片，它在几千亿个随机数字里瞎撞一圈，最后在屏幕上猜了一个词：拖拉机。 猜得离谱对吧？ 这个时候，反向传播算法登场了。 它算一下猜成拖拉机差了多远，然后把这个误差，顺着几千亿个数字节点一层层倒推回去。 哪几个数字把结果往拖拉机带偏了，就把它改小零点零几；哪几个数字隐约猜对了一点点，就把它稍微加一点。 一轮算下来，每一个数字都只挪动了一丁点距离。 调一次有用吗？ 根本看不出任何变化。 但如果不是调一次呢？ 如果把整个互联网上几十亿张图片、几万亿字的文本，全部灌进这个学习算法里呢？ 成千上万张顶级显卡日夜轰鸣，把这个反向传播的过程重复了几十万亿次。 每一次算错，几千亿个参数就跟着集体抖动微调一次。 这就像水滴石穿。 几十万亿次微调之后，原本杂乱无章的几千亿个随机浮点数，竟然在高维空间里自己编织成了一张极其精密的网络。 它不仅能秒认出任何角度的猫，还能翻译十几种语言，甚至能顺畅地写代码、推导微积分。 到了这一步，最诡异的事情发生了。 你跑去敲敲那个训练出模型的顶尖科学家的桌子： 它到底是怎么根据上文，算出下一个词该写什么的？ 科学家只能把那个最终训练好的模型文件拖出来给你看。 那个文件打开，几百个 G 的大小。 里面没有一行逻辑规则，没有一句人类能看懂的指令。 只有几千亿个密密麻麻、带小数点的浮点数。 你问科学家这些数字组合在一起到底在表达什么概念？ 没人能说得清。 这就是辛顿打的那个比方：人类写的是进化的法则。 我们写出了类似物竞天择的数学公式，然后把海量数据当成原始汤倒了进去。 那几十万亿次计算，就是机器内部长达数亿年的微观进化。 最后它自己在黑暗里进化出了眼睛，进化出了大脑回路。 我们清楚每一个神经元放电的数学公式，能测量每一个浮点数乘法的结果。 但当几千亿个神经元交织在一起涌现出智慧的时候，那个具体的大脑结构，并不是人类画图纸一张张雕出来的。 我们亲手造出了一辆跑得飞快的车。 但油门踩下去之后，底盘里的零件正在用我们看不懂的语言，自己运转。 https://x.com/vikktorrrre/status/2106106837229863108/video/1