{"id":"mb-20260831-eefe1c","account":"mubei","brand":"","title":"让大模型学算术乘法，此前所有实验室测出来的，都是一团毫无规律的噪音","summary":"让大模型学算术乘法，此前所有实验室测出来的，都是一团毫无规律的噪音","body":"让大模型学算术乘法，此前所有实验室测出来的，都是一团毫无规律的噪音。\n算加法的时候，AI 的内部结构清清楚楚。\n它会把数字映射成圆周上的角度，像转动表盘指针一样把加法做出来。\n但一算乘法，这套几何时钟瞬间粉碎。\n神经元特征谱密密麻麻，所有频率全部挤在一起。\n学界一度得出结论：乘法比加法复杂得多，神经网络找不到优雅的几何算法，只能靠参数暴力硬背。\n那个真正值得问的问题是：如果它根本没在硬背呢？\n\n答案在 2026 年一篇被 ICML 机械可解释性研讨会收录的论文里被彻底揭开。\n作者是斯坦福学者 Huu Danh Nguyen。\n问题从一开始就没出在模型身上。\n出在人类手里拿的那把尺子上。\n过去所有人都在用标准的加法傅里叶变换去给模型做切片。\n加法在代数上是整数加法群，平移对称，标准傅里叶变换是它的天然基底。\n但乘法活在一个完全不同的代数宇宙里。\n以素数 113 为例，非零整数构成的是乘法群。\n拿测加法的尺子去量乘法，量出来的自然是满屏的虚假噪点。\n这在数学上叫坐标系假象。\n\n当研究者换用数学上与乘法群严格匹配的「乘法特征标变换」时，黑盒里的迷雾瞬间蒸发。\n在模 113 乘法的任务里，原本一团混乱的特征谱，立刻坍缩为极度稀疏的结构。\n基尼系数从 0.07 暴涨到 0.58。\n整个嵌入空间，实际上只靠 4 个核心频率在运转。\n神经元的行为更加惊人。\n96.9% 的多层感知机神经元，精准调谐在单一乘法频率上。\n只要把数字按照「离散对数」重新排列，看似杂乱无章的激活热图，立刻浮现出清晰的二维周期波纹。\n\n这台隐秘运转的机器，被命名为「离散对数钟」。\n这意味着什么？\n这意味着大模型在没有任何人类公式干预的情况下，在内部自己重新发明了对数。\n1614 年，苏格兰数学家约翰·纳皮尔发表对数表，核心思想就是把难以心算的乘法，通过对数降维转化为简单的加法。\n四个世纪后，一个参数极小的 Transformer，在数万次梯度下降的试错中，独立走通了完全相同的数学捷径：\n它先把两个输入的数字，映射进离散对数空间。\n在这个空间里，乘法自动变成了加法。\n接着，它再次拨动了那个转圈的几何时钟，把结果加出来。\n它不是不会算乘法，更没有在暴力硬背。\n它比人类研究员更早理解了乘法的代数本质。\n\n我们常常把神经网络当成混沌不可解的黑盒。\n但很多时候，所谓的黑盒与噪音，只是因为观测者选错了坐标系。\n当分析工具与任务底层的代数结构真正咬合，混乱会瞬间还原为精密的数学齿轮。\n拆解复杂系统的第一步，往往不是急着去给机器下定义。\n先看清楚自己手里的尺子，到底有没有找准它底层的对称性。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-31 10:58:53","created_at":"2026-08-31 10:58:53"}