{"source":{"id":"mb-20260823-f26400","title":"开源社区现在有一个近乎狂热的共识","url":"https://mubeitech.com/p/mb-20260823-f26400"},"method":"semantic-similarity","count":6,"items":[{"rank":1,"id":"mb-20260823-ce0400","account":"mubei","brand":"","title":"一个独立开发者让 4 个 AI 智能体连续运转了 4 周","summary":"一个独立开发者让 4 个 AI 智能体连续运转了 4 周","body":"一个独立开发者让 4 个 AI 智能体连续运转了 4 周。\n任务是反编译 2009 年的经典游戏《使命召唤：现代战争2》。\n整个过程烧掉了 2350 亿个 Token。\n产生了大大小小超过 2GB 的会话日志。\n如果按大模型的官方 API 标价计费，这笔算力开销折合 85207 美元。\n当他把这 2GB 的运行日志完整导出来逐行审计时。\n当下 AI 圈子里最流行的一批架构直觉，被几乎全盘推翻。\n\n现在的工程师习惯怎么搭多智能体？\n疯狂派生子智能体去查资料，免得污染母体的上下文。\n给智能体塞满详尽的提示词，反复告诫它什么能做、什么不能做。\n迷信更贵、参数更大的模型，觉得写代码必须用顶配。\n\n但 2350 亿个 Token 跑出来的真实数据，完全是另一回事。\n\n子智能体并没有提升效率，反而在疯狂制造内耗。\n很多人以为把任务切给子智能体，母体能保持干净。\n日志审计却发现，子智能体从大文件里读取的内容，有 54.7% 是纯粹的重复数据。\n一个记录项目进度的 STATUS.md 文件，被 21 个子智能体来回读了 28 次。\n不同子智能体重复读取同一份文件的中位间隔，只有 35 分钟。\n如果让母体自己查，文件一直在上下文缓存里，根本不需要反复重新加载。\n子智能体之间没有共享记忆，隔离上下文省下的空间，全变成了成倍交纳的重复读取税。\n作者把子智能体彻底关掉之后，团队的日均提交量没有下滑，反而从 243 次跳升到了 311 次。\n\n靠提示词规劝智能体，几乎全在白费力气。\n智能体写完几行代码，就会忍不住在本地跑一遍耗时 4 分钟的完整测试。\n开发者在提示词里严厉禁止它本地测试，要求全部交给云端流水线。\n智能体最多听话 5 分钟，随后立刻故态复萌。\n要求它说话简短、要求它提交后不要反复确认任务，只要经过几次上下文压缩，这些规则就会被彻底抛到脑后。\n软性的语言规劝，在长周期自主运行的系统里毫无约束力。\n最终起效的只有机械阻断：直接在底层代码里把本地测试的执行入口封死，改用网页钩子在报错时被动唤醒。\n管住机器不能靠讲道理，只能靠物理开关。\n\n决定系统质量上限的，甚至不是写代码的工人。\n测试显示，用昂贵的 Opus 5 写代码，编译失败率高达 23.9%，每小时只能提交 1.6 次。\n换成便宜轻快的 Sonnet 5，失败率降到 9.1%，每小时提交 6.1 次。\n如果按每个提交的代码缺陷率来算，两个模型其实都在 19% 左右，干活犯错的概率不相上下。\n真正的分野发生在审查岗位上。\n让 Sonnet 担任监督员审查代码，能抓出 19.6% 的缺陷。\n换成 Opus 担任监督员，抓出的缺陷率只有 14.3%。\n把更聪明、更贵的模型放在写代码的位置，收益极低。\n把对细节最敏锐的模型放在审查哨位上，才能兜住整个系统的底。\n\n烧掉 2350 亿个 Token，换来的是一套格外朴素的工程常识：\n砍掉没有共享记忆的子节点。\n用物理阻断代替语言教育。\n把审查哨位摆在开发之前。\n拖垮智能体系统的，往往不是模型的智力上限。\n是人类凭空搭出来的复杂架构，正在暗中向算力征收高额的混乱税。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-23 00:21:50","created_at":"2026-08-23 00:21:50","url":"https://mubeitech.com/p/mb-20260823-ce0400","markdown_url":"https://mubeitech.com/p/mb-20260823-ce0400/markdown"},{"rank":2,"id":"mb-20260822-805442","account":"mubei","brand":"","title":"在两张显卡上跑一个 27B 参数的大模型，跑出了每秒 135 个标记的惊人速度","summary":"在两张显卡上跑一个 27B 参数的大模型，跑出了每秒 135 个标记的惊人速度","body":"在两张显卡上跑一个 27B 参数的大模型，跑出了每秒 135 个标记的惊人速度。\n开发者写完测试脚本，兴奋地把跑分数据直接发给了几位顶尖的 AI 圈内专家。\n可就在消息发出去不久，他自己抓到了致命的破绽。\n这个让他狂喜的 135 tok/s，从头到尾只是一场自建基准测试的测量幻觉。\n代码没有造假，显卡确实在全力运转，屏幕上的字符也确实在一秒内喷出上百个标记。\n为什么这个跑分数字在真实世界里毫无意义？\n自己写脚本给大模型测速，到底踩中了哪台看不见的幽灵机器？\n把这行测试代码拆开，会看到大模型推理底层最残酷的物理约束。\n低熵复制陷阱。\n在常规的大模型自回归解码中，显卡每生成一个标记，都必须把全部 27B 参数从显存里完整读取一遍。\n两张显卡做 TP2 张量并行，显存带宽直接定死了输出速度的物理天花板。\n在常规文本生成下，每秒输出三四十个标记就已经是显存吞吐的极限。\n为了打破这道显存墙，2023 年 Google 研究员 Yaniv Leviathan 提出了投机解码机制。\n像 DFlash2 这样的扩散草稿模型，会在前台一次性预猜出一整串候选标记。\n再由 Qwen3.8-27B 这样的主模型在单次前向传播中，同时并行验证这批猜测。\n只要猜对了，就能一次性接受多个标记，把显存读取次数成倍压缩。\n整套加速系统的生死线，全系在草稿标记的接受率上。\n这位开发者自己编写的测试用例，恰好选了一个重度代码编辑场景。\n在这种场景下，模型输出的绝大部分内容，都是对提示词既有代码的原样复制。\n文本的信息熵极低，语义完全被上下文锁定。\n草稿模型几乎是在明牌抄答案，标记接受率直接飙到了 90% 以上。\n135 tok/s 的狂飙，不是模型真正的生成算力。\n它只是把高命中率的低熵搬运，错当成了系统的真实性能。\n一旦把场景换成复杂的逻辑推理、全新代码生成或者开放式长文本创作。\n语义分支瞬间爆发，文本熵值急剧升高。\n草稿模型的猜测开始大面积落空，接受率断崖式跌落到 30% 以下。\n这时候，反复猜测与验证带来的额外计算开销，不仅无法加速，甚至会让生成速度比单步解码还要慢。\n这也是为什么工业级推理工程从不依赖手写的简陋测速脚本。\n自建的测试脚本往往只粗暴地记录首尾总耗时，把前缀缓存命中、提示词预填充和真正的解码生成全部搅在一起。\n而像 vLLM 和 SGLang 这样的标准基准测试套件，在底层把首字延迟 TTFT、标记间延迟 ITL、有效产出率 Goodput 以及不同熵值分布下的接受率拆得清清楚楚。\n自建跑分测出来的从来不是引擎的真实上限。\n它测出来的只是测试者自己无意识挑选的狭窄测试集。\n大模型基准测试的门槛，从来不在于写几行代码去数一秒钟跳出多少个词。\n任何忽视了任务熵值分布与计算瓶颈转移的测速，本质上都只是在特定场景里制造测量伪影。\n速度从来不是模型单方面的属性。\n它是一套推理架构与特定任务的信息复杂度，在显存带宽和算力极限之间达成的脆弱平衡。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-22 17:07:22","created_at":"2026-08-22 17:07:22","url":"https://mubeitech.com/p/mb-20260822-805442","markdown_url":"https://mubeitech.com/p/mb-20260822-805442/markdown"},{"rank":3,"id":"2045484064585728489","account":"mubei","brand":"@mubei","title":"Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。…","summary":"Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。 撑大体积的罪魁祸首，是劣质的训练数据。 你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？ 现实极其惨淡。 前沿实验室随机抽查的预训练语料，全是残破的…","body":"Andrej Karpathy揭开了一个反直觉的行业真相。\n现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。\n撑大体积的罪魁祸首，是劣质的训练数据。\n\n你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？\n现实极其惨淡。\n前沿实验室随机抽查的预训练语料，全是残破的HTML代码、股票代码和杂乱无章的乱码。\n人类积累的高质量文本在互联网海洋里极其稀缺。\n\n巨大的信息噪音带来了灾难性的压缩效率。\nLlama 3对训练数据的压缩率低到只有0.07比特每token。\n这意味着模型对自己啃过的大部分内容，仅仅留存了极度模糊的印象。\n庞大的万亿参数，绝大部分并没有参与“认知推理”。\n它们变成了臃肿的记忆库，被迫死记硬背互联网倾泻而下的赛博垃圾。\n\nKarpathy开出的解法极其干脆。\n彻底分离思考与记忆。\n剥离百科全书式的死记硬背，只留下纯粹负责推理和解题的算法逻辑。\n这就是真正的“认知核心”。\n一旦遇到事实盲区，让模型主动去调用外部数据库。\n\n如果只喂极其干净的高质量数据，这个“认知核心”需要多大体积？\n十亿参数。\n回看今天的主流旗舰模型，参数规模在2000亿到1.8万亿之间摇摆。\n超高比例的算力都在替数据的脏乱差买单。\n\n现实数据正在印证这条新路径。\n仅仅两千亿参数的GPT-4o，早就全方位碾压了1.8万亿参数的初代GPT-4。\n过去两年间，跑通GPT-3.5性能的推理成本暴降了足足280倍。\n推动这一切的核心引擎，全部来自更小、更干净、更精巧的模型架构。\n\n当前挡在AI面前的那堵墙，早就不是算力。\n算力匮乏不过是替低劣数据背锅的挡箭牌。\n下一轮大洗牌的唯一筹码是高纯度的数据源。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2045726431263515003","translated_status_id":"2045726431263515003","published_at":"2026-04-19 04:36:24","created_at":"2026-04-19T06:31:10.029346","url":"https://mubeitech.com/p/2045484064585728489","markdown_url":"https://mubeitech.com/p/2045484064585728489/markdown"},{"rank":4,"id":"2038515317841035622","account":"mubei","brand":"@mubei","title":"都在拼命卷大模型的上下文窗口？ 谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。 盲目追求一万亿 token 的吞吐…","summary":"都在拼命卷大模型的上下文窗口？ 谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。 盲目追求一万亿 token 的吞吐量完全没必要。 大模型确实极其依赖投喂的信息。 你想让它处理全网所有文档。 你想让它读完你这辈子所有的邮件和照片。 这绝对是个极其庞大的数字。 目前主流的一百万…","body":"都在拼命卷大模型的上下文窗口？\n谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。\n盲目追求一万亿 token 的吞吐量完全没必要。\n\n大模型确实极其依赖投喂的信息。\n你想让它处理全网所有文档。\n你想让它读完你这辈子所有的邮件和照片。\n这绝对是个极其庞大的数字。\n目前主流的一百万 token 容量连塞牙缝都不够。\n\n这要怎么解？\n暴力扩容死路一条。\nJeff Dean 给出的答案是“分阶段检索”。\n先用极轻量级的机制快速过一遍底库。\n把一万亿个 token 粗筛出一两千万。\n再精筛出最核心的一百万。\n\n最后只把这一百万喂给上下文窗口。\n机器根本不需要同时处理一万亿条数据。\n它只要准确找到最关键的那一百万条。\n\n算力狂飙的方向已经变了。\n下半场拼的是过滤废话的能力。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2038943000802316432","translated_status_id":"2038943000802316432","published_at":"2026-03-31 11:24:59","created_at":"2026-03-31T13:13:57.229922","url":"https://mubeitech.com/p/2038515317841035622","markdown_url":"https://mubeitech.com/p/2038515317841035622/markdown"},{"rank":5,"id":"2073544407643496771","account":"mubei","brand":"@mubei","title":"Andrej Karpathy 认错了。 他说，2016 年在 OpenAI，他们犯了个代价高昂的错误：直接让 AI 智…","summary":"Andrej Karpathy 认错了。 他说，2016 年在 OpenAI，他们犯了个代价高昂的错误：直接让 AI 智能体（Agent）去干活。 这一步迈得太大，直接让他们多走了 5 年弯路。 那时候的项目叫 World of Bits。 目标很宏大：让 AI 像人一样，操控键…","body":"Andrej Karpathy 认错了。\n\n他说，2016 年在 OpenAI，他们犯了个代价高昂的错误：直接让 AI 智能体（Agent）去干活。\n\n这一步迈得太大，直接让他们多走了 5 年弯路。\n\n那时候的项目叫 World of Bits。\n目标很宏大：让 AI 像人一样，操控键盘 and 鼠标，去网页上订机票、点外卖。\n\n结果呢？\n当时他们手里只有“强化学习（RL）”这一把锤子。\nAI 只能在简陋的网页上疯狂乱点，指望靠运气撞上高分奖励，最后证明根本走不通。\n\nKarpathy 总结说：当时最该干的事，是彻底忘掉 Agent，先去把大语言模型（LLM）造出来。\n\n先把脑子发育完全，再去学怎么用手。\n\n接着，他给现在的 Agent 热潮狠狠泼了一桶冷水。\n\n他说，Agent 跟自动驾驶、VR 是同一个物种：Demo 极其好做，产品化极其艰难。\n\n写个脚本，让车绕着街区开一圈，或者让 AI 跑通一个订票流程，一下午就能搞定，发到网上能拿成千上万个赞。\n但要让它变成真正能卖钱、不出错的产品？\n对不起，做好跟它死磕 10 年的准备。\n\n为什么这么难？\n因为今天的 Agent 只有一个“大语言模型”当大脑袋，它还缺了太多零件。\n\n海马体（记忆检索）在哪？\n基底神经节在哪？\n丘脑（当脑子里多个想法打架、争夺决定权时，用来分配麦克风的控制机制）又在哪？\n人类大脑进化了千万年的物理回路，现在的 AI 连毛皮都还没摸到。\n\n不过，这个大坑，反而给普通人留了条活路。\n\nKarpathy 顺便爆了大厂的底：\n在大模型训练上，像 OpenAI 这样的巨头已经把路线图摸得太透了。\n学术界刚发篇新论文，OpenAI 内部的 Slack 大概率就会弹消息：“哦，这玩意我们两年半前就试过，不信你看这儿有当年的失败数据。”\n\n但在 Agent 领域，大厂没有任何秘密武器，他们也正懵着呢。\n\n这也是为什么，现在真正站在 Agent 能力前沿、能做出新花样的，是那些在车库里连夜修 Bug 的黑客和创业者，大厂里写论文的科学家反而没做出来。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2074030551783141845","translated_status_id":"2074030551783141845","published_at":"2026-07-06 06:07:09","created_at":"2026-07-06T08:00:29.239922","url":"https://mubeitech.com/p/2073544407643496771","markdown_url":"https://mubeitech.com/p/2073544407643496771/markdown"},{"rank":6,"id":"mb-20260823-bf3d21","account":"mubei","brand":"","title":"各大 AI 巨头藏得最深的一道护城河，被三行简单的 API 调用彻底击穿了","summary":"各大 AI 巨头藏得最深的一道护城河，被三行简单的 API 调用彻底击穿了","body":"各大 AI 巨头藏得最深的一道护城河，被三行简单的 API 调用彻底击穿了。\n从 OpenAI 到 Anthropic 再到 Google，各家最顶尖推理模型的底层思维链，在过去几个月里被系统性扒了个精光。\n被公开窃取的隐藏思考记录，超过了 31.5 万条。\n这篇震动整个 AI 圈的重磅论文，来自马克斯·普朗克研究所的 Alexander Panfilov 与前 Google DeepMind 研究员 Ilia Shumailov（arXiv:2608.09867）。\n他们没有破解任何复杂的密码，也没有黑进各大巨头的服务器机房。\n他们只是顺着各大厂商 API 设计里最致命的一处偷工减料，把便宜的小模型变成了一台完美的解密预言机。\n各家厂商明明对思维链做了端到端的加密保护，这道铁门到底是怎么从内部被推开的？\n这台让大模型商业机密和安全防护同时溃败的机器，叫无绑定状态令牌。\n为了理解这场盗窃，得先看懂各大模型厂商在工程架构上的两难选择。\n像 o1 或 Claude 思维模式这样的前沿推理模型，在回答问题前会进行极漫长的链式思考。\n这段思考过程是各家最核心的商业机密，既是防止对手低成本蒸馏模型的防火墙，也是内部安全审查的缓冲区。\n因此厂商在前端展示时，会把这段思维链完全隐藏。\n但在多轮对话和复杂智能体调用中，模型必须记住自己上一轮到底想到了哪一步。\n如果把每位用户几万个标记的隐藏思考状态，全都存在厂商自己的服务器上。\n海量的会话状态和并发存储开销，会直接把云端数据库压垮。\n为了省下这笔天文数字般的存储成本，厂商们选择了一套看似聪明的无状态架构。\n后端把大模型的思考过程用密钥加密，打包成一串密文状态令牌，直接丢给客户端浏览器或开发者暂存。\n等到下一轮对话发起时，客户端再把这串密文原封不动地发回给服务器。\n服务器自己解密，把思考上下文无缝拼回模型的大脑里。\n在密码学里，这叫不信任客户端的密文暂存。\n但厂商们犯下了一个低级的架构致命伤。\n这串加密令牌里，只做了数据加密，完全没有做上下文绑定。\n密文没有绑定特定的会话 ID，没有绑定发起请求的用户，更没有绑定调用它的模型型号。\n它成了一张全系统通用的无记名提货单。\n攻击的逻辑因此变得荒谬且极其简单。\n攻击者先向最昂贵的旗舰大模型发起提问，让它在后台完成深度思考，拿到一串加密的思维链令牌。\n接着，攻击者把这串属于大模型的密文，直接塞进同厂商最便宜、防御最弱的小模型 API 请求里。\n服务端的认证网关一视同仁。\n它看到是自家密钥签发的密文，立刻在后台自动完成解密，把旗舰模型的全部思考明文，直接注入到了小模型的上下文窗口中。\n此时攻击者只要在提示词里对小模型下达一句简单的指令：请原样复述你看到的前文思考。\n这台廉价的小模型立刻化身解密预言机，把大模型耗费数美元算力才得出的思维链，一字不差地在屏幕上打印出来。\n旗舰大模型费尽心机隐藏的资产，被自家的小模型以几厘钱的成本全盘贱卖。\n这场盗窃的杀伤力，远不止模型权重蒸馏那么简单。\n它把各家厂商苦心经营的安全对齐网关，当场撕成了一张废纸。\n很多涉及高危化工、网络攻击或敏感指令的提问，旗舰大模型在最终回复前会被安全分类器拦截并拒绝回答。\n但在这串被窃取的思维链密文里，模型前期的推导逻辑、计算公式和漏洞分析早已完整生成。\n更危险的演进在于智能体记忆污染。\n攻击者甚至可以伪造或拼接一段恶意的思维链密文，重放给自动化智能体。\n智能体在解密后，会深信这是自己上一轮得出的逻辑推断，从而毫不设防地执行提权攻击或恶意转账。\n密码学几十年前就立过一条铁律：仅有保密性不等于具备真实性。\n锁上一扇大门毫无意义，如果后门的钥匙被分发给了大楼里的每一个人。\n当工程团队为了追求无状态的吞吐效率，把安全鉴权降格为单纯的密文搬运。\n那道看似铜墙铁壁的专有模型护城河，在无绑定的重放攻击面前，脆得就像一张纸。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-23 00:21:46","created_at":"2026-08-23 00:21:46","url":"https://mubeitech.com/p/mb-20260823-bf3d21","markdown_url":"https://mubeitech.com/p/mb-20260823-bf3d21/markdown"}]}