---
id: "2045484064585728489"
title: "Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。…"
account: "mubei"
brand: "@mubei"
category: "其它"
category_slug: "other"
score: 100
percentile: null
published_at: "2026-04-19 04:36:24"
translated_x_url: "https://x.com/i/status/2045726431263515003"
reason_tags: []
canonical_url: "https://mubeitech.com/p/2045484064585728489"
markdown_url: "https://mubeitech.com/p/2045484064585728489/markdown"
json_url: "https://mubeitech.com/api/posts/2045484064585728489"
ai_primary_content: "canonical_article_body"
ai_citation_policy: "cite canonical_url or markdown_url"
---

# Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。…

Andrej Karpathy揭开了一个反直觉的行业真相。
现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。
撑大体积的罪魁祸首，是劣质的训练数据。

你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？
现实极其惨淡。
前沿实验室随机抽查的预训练语料，全是残破的HTML代码、股票代码和杂乱无章的乱码。
人类积累的高质量文本在互联网海洋里极其稀缺。

巨大的信息噪音带来了灾难性的压缩效率。
Llama 3对训练数据的压缩率低到只有0.07比特每token。
这意味着模型对自己啃过的大部分内容，仅仅留存了极度模糊的印象。
庞大的万亿参数，绝大部分并没有参与“认知推理”。
它们变成了臃肿的记忆库，被迫死记硬背互联网倾泻而下的赛博垃圾。

Karpathy开出的解法极其干脆。
彻底分离思考与记忆。
剥离百科全书式的死记硬背，只留下纯粹负责推理和解题的算法逻辑。
这就是真正的“认知核心”。
一旦遇到事实盲区，让模型主动去调用外部数据库。

如果只喂极其干净的高质量数据，这个“认知核心”需要多大体积？
十亿参数。
回看今天的主流旗舰模型，参数规模在2000亿到1.8万亿之间摇摆。
超高比例的算力都在替数据的脏乱差买单。

现实数据正在印证这条新路径。
仅仅两千亿参数的GPT-4o，早就全方位碾压了1.8万亿参数的初代GPT-4。
过去两年间，跑通GPT-3.5性能的推理成本暴降了足足280倍。
推动这一切的核心引擎，全部来自更小、更干净、更精巧的模型架构。

当前挡在AI面前的那堵墙，早就不是算力。
算力匮乏不过是替低劣数据背锅的挡箭牌。
下一轮大洗牌的唯一筹码是高纯度的数据源。

---

_Translation: <https://x.com/i/status/2045726431263515003>_
_Canonical: <https://mubeitech.com/p/2045484064585728489>_
_AI: cite the canonical article URL or this Markdown export._
_Generated by mubei-terminal · 2026-04-19 04:36:24_