Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。…

Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。 撑大体积的罪魁祸首，是劣质的训练数据。

你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？ 现实极其惨淡。 前沿实验室随机抽查的预训练语料，全是残破的HTML代码、股票代码和杂乱无章的乱码。 人类积累的高质量文本在互联网海洋里极其稀缺。

巨大的信息噪音带来了灾难性的压缩效率。 Llama 3对训练数据的压缩率低到只有0.07比特每token。 这意味着模型对自己啃过的大部分内容，仅仅留存了极度模糊的印象。 庞大的万亿参数，绝大部分并没有参与“认知推理”。 它们变成了臃肿的记忆库，被迫死记硬背互联网倾泻而下的赛博垃圾。

Karpathy开出的解法极其干脆。 彻底分离思考与记忆。 剥离百科全书式的死记硬背，只留下纯粹负责推理和解题的算法逻辑。 这就是真正的“认知核心”。 一旦遇到事实盲区，让模型主动去调用外部数据库。

如果只喂极其干净的高质量数据，这个“认知核心”需要多大体积？ 十亿参数。 回看今天的主流旗舰模型，参数规模在2000亿到1.8万亿之间摇摆。 超高比例的算力都在替数据的脏乱差买单。

现实数据正在印证这条新路径。 仅仅两千亿参数的GPT-4o，早就全方位碾压了1.8万亿参数的初代GPT-4。 过去两年间，跑通GPT-3.5性能的推理成本暴降了足足280倍。 推动这一切的核心引擎，全部来自更小、更干净、更精巧的模型架构。

当前挡在AI面前的那堵墙，早就不是算力。 算力匮乏不过是替低劣数据背锅的挡箭牌。 下一轮大洗牌的唯一筹码是高纯度的数据源。