科技·via

让大模型学算术乘法,此前所有实验室测出来的,都是一团毫无规律的噪音

让大模型学算术乘法,此前所有实验室测出来的,都是一团毫无规律的噪音。 算加法的时候,AI 的内部结构清清楚楚。 它会把数字映射成圆周上的角度,像转动表盘指针一样把加法做出来。 但一算乘法,这套几何时钟瞬间粉碎。 神经元特征谱密密麻麻,所有频率全部挤在一起。 学界一度得出结论:乘法比加法复杂得多,神经网络找不到优雅的几何算法,只能靠参数暴力硬背。 那个真正值得问的问题是:如果它根本没在硬背呢?

答案在 2026 年一篇被 ICML 机械可解释性研讨会收录的论文里被彻底揭开。 作者是斯坦福学者 Huu Danh Nguyen。 问题从一开始就没出在模型身上。 出在人类手里拿的那把尺子上。 过去所有人都在用标准的加法傅里叶变换去给模型做切片。 加法在代数上是整数加法群,平移对称,标准傅里叶变换是它的天然基底。 但乘法活在一个完全不同的代数宇宙里。 以素数 113 为例,非零整数构成的是乘法群。 拿测加法的尺子去量乘法,量出来的自然是满屏的虚假噪点。 这在数学上叫坐标系假象。

当研究者换用数学上与乘法群严格匹配的「乘法特征标变换」时,黑盒里的迷雾瞬间蒸发。 在模 113 乘法的任务里,原本一团混乱的特征谱,立刻坍缩为极度稀疏的结构。 基尼系数从 0.07 暴涨到 0.58。 整个嵌入空间,实际上只靠 4 个核心频率在运转。 神经元的行为更加惊人。 96.9% 的多层感知机神经元,精准调谐在单一乘法频率上。 只要把数字按照「离散对数」重新排列,看似杂乱无章的激活热图,立刻浮现出清晰的二维周期波纹。

这台隐秘运转的机器,被命名为「离散对数钟」。 这意味着什么? 这意味着大模型在没有任何人类公式干预的情况下,在内部自己重新发明了对数。 1614 年,苏格兰数学家约翰·纳皮尔发表对数表,核心思想就是把难以心算的乘法,通过对数降维转化为简单的加法。 四个世纪后,一个参数极小的 Transformer,在数万次梯度下降的试错中,独立走通了完全相同的数学捷径: 它先把两个输入的数字,映射进离散对数空间。 在这个空间里,乘法自动变成了加法。 接着,它再次拨动了那个转圈的几何时钟,把结果加出来。 它不是不会算乘法,更没有在暴力硬背。 它比人类研究员更早理解了乘法的代数本质。

我们常常把神经网络当成混沌不可解的黑盒。 但很多时候,所谓的黑盒与噪音,只是因为观测者选错了坐标系。 当分析工具与任务底层的代数结构真正咬合,混乱会瞬间还原为精密的数学齿轮。 拆解复杂系统的第一步,往往不是急着去给机器下定义。 先看清楚自己手里的尺子,到底有没有找准它底层的对称性。

相关 / RELATED

JSON

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封信号简报,重大进展可选即时推送。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情