{"source":{"id":"2038515317841035622","title":"都在拼命卷大模型的上下文窗口？ 谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。 盲目追求一万亿 token 的吞吐…","url":"https://mubeitech.com/p/2038515317841035622"},"method":"semantic-similarity","count":3,"items":[{"rank":1,"id":"2045484064585728489","account":"mubei","brand":"@mubei","title":"Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。…","summary":"Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。 撑大体积的罪魁祸首，是劣质的训练数据。 你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？ 现实极其惨淡。 前沿实验室随机抽查的预训练语料，全是残破的…","body":"Andrej Karpathy揭开了一个反直觉的行业真相。\n现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。\n撑大体积的罪魁祸首，是劣质的训练数据。\n\n你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？\n现实极其惨淡。\n前沿实验室随机抽查的预训练语料，全是残破的HTML代码、股票代码和杂乱无章的乱码。\n人类积累的高质量文本在互联网海洋里极其稀缺。\n\n巨大的信息噪音带来了灾难性的压缩效率。\nLlama 3对训练数据的压缩率低到只有0.07比特每token。\n这意味着模型对自己啃过的大部分内容，仅仅留存了极度模糊的印象。\n庞大的万亿参数，绝大部分并没有参与“认知推理”。\n它们变成了臃肿的记忆库，被迫死记硬背互联网倾泻而下的赛博垃圾。\n\nKarpathy开出的解法极其干脆。\n彻底分离思考与记忆。\n剥离百科全书式的死记硬背，只留下纯粹负责推理和解题的算法逻辑。\n这就是真正的“认知核心”。\n一旦遇到事实盲区，让模型主动去调用外部数据库。\n\n如果只喂极其干净的高质量数据，这个“认知核心”需要多大体积？\n十亿参数。\n回看今天的主流旗舰模型，参数规模在2000亿到1.8万亿之间摇摆。\n超高比例的算力都在替数据的脏乱差买单。\n\n现实数据正在印证这条新路径。\n仅仅两千亿参数的GPT-4o，早就全方位碾压了1.8万亿参数的初代GPT-4。\n过去两年间，跑通GPT-3.5性能的推理成本暴降了足足280倍。\n推动这一切的核心引擎，全部来自更小、更干净、更精巧的模型架构。\n\n当前挡在AI面前的那堵墙，早就不是算力。\n算力匮乏不过是替低劣数据背锅的挡箭牌。\n下一轮大洗牌的唯一筹码是高纯度的数据源。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2045726431263515003","translated_status_id":"2045726431263515003","published_at":"2026-04-19 04:36:24","created_at":"2026-04-19T06:31:10.029346","url":"https://mubeitech.com/p/2045484064585728489","markdown_url":"https://mubeitech.com/p/2045484064585728489/markdown"},{"rank":2,"id":"mb-20260902-cd3522","account":"mubei","brand":"","title":"给多模态大模型加速，工程界一直在为一个看似合理的方案买单","summary":"给多模态大模型加速，工程界一直在为一个看似合理的方案买单","body":"给多模态大模型加速，工程界一直在为一个看似合理的方案买单。\n这个方案叫投机采样。\n让一个极小、极快的草稿模型在前面先猜几个词，再由庞大的主模型跑一次前向验证全部猜想。\n猜对了直接跳过，能省下几倍的计算时间。\n可在看图说话、读报表的多模态模型上，这套方案撞上了一堵自相矛盾的死墙。\n草稿模型要逐字猜测，为了快，它必须做得极小。\n可一个小模型，根本塞不下图片展开后的成百上千个视觉词元。\n为了让草稿跑得动，工程师们只能把图像压缩、剪枝，甚至直接把视觉特征对草稿模型隐藏。\n荒谬的一幕出现了。\n草稿模型被剥夺了视觉，偏偏在最依赖图片的场景下疯狂猜错。\n你让它读一张财务报表，答案就在图表里，它却因为看不见图而不断吐出废词。\n整个行业陷入了一个怪圈：\n大家把图像当成了拖慢推理的负重，忙着用各种算法把视觉信息藏起来。\n视觉信息真的是推理加速的累赘吗？\n来自高丽大学与 Zoom 的研究团队在论文中指出了相反的物理现实。\n在看图回答、提取文档这种任务里，大模型要输出的文字，绝大部分早就白纸黑字印在图片上。\n图片不是负重。\n图片是让下一个词变得极度确定的作弊条。\n团队把这台打破怪圈的架构命名为 GLANCE。\n它从两头拆掉了自回归草稿的死循环。\n第一头，视觉零成本。\nGLANCE 的草稿头不再重复去读原始图片。\n它直接读取主模型在中间层已经计算完成的图文融合隐层状态。\n主模型早就把图像和文本揉在了一起，草稿头直接继承这个现成状态，视觉开销瞬间降为零。\n第二头，单步块级起草。\n工业界标杆 EAGLE-3 的草稿头，猜 8 个词必须串行跑 8 次前向计算。\nGLANCE 换用了一套 5 层的块扩散头。\n只需要单次前向传播，就能一口气生成未来整整 16 个位置的词元分布。\n生成的候选词元被排成一棵前缀树，交给主模型单次前向全部验证。\n数学证明，这种验证在比特级别精确重现主模型自身的贪婪解码，完全无损。\n为什么这套设计在看图任务上能迎来爆发式加速？\n研究者测出了一条跨任务成立的物理定律：\n草稿被主模型接收的长度，直接由主模型的下一个词元熵决定。\n任务越依赖图片，下一个词元的熵就越低。\n在读文档和读图表时，模型直接进入了字面照抄状态。\n在字面照抄状态下，自回归草稿每抄一个字都要串行计算一次，而单步块级起草只需要一次计算就能把一整段文字端出来。\n在 SGLang 生产引擎的实测中，GLANCE 比传统自回归解码快了 2.93 倍。\n在相同数据训练下，它的单轮接收长度达到了 EAGLE-3 的 2.7 倍，在图表问答任务上更是达到了 4.0 倍。\n真正的系统瓶颈，往往来自我们对旧工具的路径依赖。\n当大家都在自回归的旧框架里给图像打补丁、做剪枝时，\n换掉那个串行的齿轮，原本被当成负担的视觉信息，就变成了最强大的加速引擎。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-09-02 12:19:59","created_at":"2026-09-02 12:19:59","url":"https://mubeitech.com/p/mb-20260902-cd3522","markdown_url":"https://mubeitech.com/p/mb-20260902-cd3522/markdown"},{"rank":3,"id":"16564496","account":"mubei","brand":"@mubei","title":"大模型竞争的风向变了。 不拼跑分，开始往死里卷价格。 GPT-5.6系列大降价。 轻量级的Luna模型，价格一口气砍掉8…","summary":"大模型竞争的风向变了。 不拼跑分，开始往死里卷价格。 GPT-5.6系列大降价。 轻量级的Luna模型，价格一口气砍掉80%。 处理一百万个输入token，现在只要0.2美元，输出只要1.2美元。 中端的Terra模型降价20%，降到了输入2美元、输出12美元。 顶配的Sol模型…","body":"大模型竞争的风向变了。\n不拼跑分，开始往死里卷价格。\n\nGPT-5.6系列大降价。\n轻量级的Luna模型，价格一口气砍掉80%。\n处理一百万个输入token，现在只要0.2美元，输出只要1.2美元。\n中端的Terra模型降价20%，降到了输入2美元、输出12美元。\n\n顶配的Sol模型换了个打法。\n它在API里加了一个“快速模式”。\n多花一倍的钱，速度最高能飙升2.5倍，智力水平完全不打折。\n\n同等智能的调用成本，被生生砸到了一个新台阶。\n过去那些因为太贵、开发者舍不得跑的海量任务。\n现在终于可以放开手脚，当成日常操作随便跑了。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2082970809845375398","translated_status_id":"2082970809845375398","published_at":"2026-07-30 23:02:23","created_at":"2026-07-31T00:54:16+02:00","url":"https://mubeitech.com/p/16564496","markdown_url":"https://mubeitech.com/p/16564496/markdown"}]}