{"source":{"id":"2055605007593115768","title":"1.5 万亿参数。 xAI 的 Grok v9 基础模型刚刚跑完训练。 体量直接膨胀到上一代 v8 的整整 3 倍。 底…","url":"https://mubeitech.com/p/2055605007593115768"},"method":"semantic-similarity","count":6,"items":[{"rank":1,"id":"2055307600586043635","account":"mubei","brand":"@mubei","title":"1.5 万亿参数的大底座跑通了。 马斯克交底，xAI 正式完成 Grok V9 基础模型的训练。 内部代号 V9，体量直…","summary":"1.5 万亿参数的大底座跑通了。 马斯克交底，xAI 正式完成 Grok V9 基础模型的训练。 内部代号 V9，体量直接压到 1.5T 参数。 整套数据清洗机制和训练配方全翻新了一遍。 它现在只是个刚出炉的纯底座。 没做任何针对性微调，表现已经死死咬住第一梯队。 真正的杀招在后…","body":"1.5 万亿参数的大底座跑通了。\n马斯克交底，xAI 正式完成 Grok V9 基础模型的训练。\n\n内部代号 V9，体量直接压到 1.5T 参数。\n整套数据清洗机制和训练配方全翻新了一遍。\n它现在只是个刚出炉的纯底座。\n没做任何针对性微调，表现已经死死咬住第一梯队。\n\n真正的杀招在后面。\n手里捏着的 Cursor 数据，压根还没投喂进去做补充训练。\n先用 1.5 万亿的地基撑住智力下限。\n再灌进当今顶级的代码语料做特训。\n等这批补剂打完，AI 程序员的门槛又要被拔高一截。","category":"科技","score":83.3,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-05-15 16:43:50","created_at":"2026-05-15T17:21:32+02:00","url":"https://mubeitech.com/p/2055307600586043635","markdown_url":"https://mubeitech.com/p/2055307600586043635/markdown"},{"rank":2,"id":"2080015172840657232","account":"mubei","brand":"@mubei","title":"“SpaceX + 特斯拉 = Grok 4 的解题锚点。” 有人抛出这个公式，马斯克只回了一个词：是的。 Grok 正…","summary":"“SpaceX + 特斯拉 = Grok 4 的解题锚点。” 有人抛出这个公式，马斯克只回了一个词：是的。 Grok 正在用 SpaceX 的工程数据进行训练。 现在的大模型都在拼网上的文本语料，拼谁聊天更像人，拼考试分数。 但马斯克走的是另一条路。 他手里捏着别人根本摸不到的牌…","body":"“SpaceX + 特斯拉 = Grok 4 的解题锚点。”\n有人抛出这个公式，马斯克只回了一个词：是的。\n\nGrok 正在用 SpaceX 的工程数据进行训练。\n\n现在的大模型都在拼网上的文本语料，拼谁聊天更像人，拼考试分数。\n但马斯克走的是另一条路。\n\n他手里捏着别人根本摸不到的牌：造火箭的极端物理参数，自动驾驶的海量真实路况，超级工厂的制造细节。\n这是一个独一无二的“真实世界高价值问题库”。\n\n当这些工业级的样本数据喂给 Grok，真正的护城河就挖出来了。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2080018044672176139","translated_status_id":"2080018044672176139","published_at":"2026-07-22 19:51:58","created_at":"2026-07-22T21:40:36+02:00","url":"https://mubeitech.com/p/2080015172840657232","markdown_url":"https://mubeitech.com/p/2080015172840657232/markdown"},{"rank":3,"id":"2084741987702624595","account":"mubei","brand":"@mubei","title":"AI 的核心计量单位，变了。 不再是囤了多少张 GPU，而是“吉瓦”（GW）。 马斯克交了底。 今年年底，他的算力规模要…","summary":"AI 的核心计量单位，变了。 不再是囤了多少张 GPU，而是“吉瓦”（GW）。 马斯克交了底。 今年年底，他的算力规模要突破 2 GW。 到了明年年底，这个数字会直接逼近 10 GW。 这早就不是什么硬件采购清单了。 这是直接在搞大基建。 AI 竞争，已经彻头彻尾地变成了能源和供…","body":"AI 的核心计量单位，变了。\n不再是囤了多少张 GPU，而是“吉瓦”（GW）。\n\n马斯克交了底。\n今年年底，他的算力规模要突破 2 GW。\n到了明年年底，这个数字会直接逼近 10 GW。\n\n这早就不是什么硬件采购清单了。\n这是直接在搞大基建。\nAI 竞争，已经彻头彻尾地变成了能源和供应链的较量。\n\n怎么建？\n路线直接拍板：独家押注英伟达。\n底牌，就是新一代的 Vera Rubin 架构。\n\n看看这台算力怪兽的硬指标。\n3360 亿个晶体管。\n推理性能飙到 50 PFLOPS，直接是上一代 Blackwell 的 5 倍。\n训练性能达到 3.5 倍。\n内存带宽拉到了夸张的每秒 22 TB。\n\n想让这种吞电巨兽全速运转，就得拿发电站的规模来喂。\n以后在 AI 牌桌上，手里没有几个吉瓦的电网，根本连入局的资格都没有。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2084795300439294089","translated_status_id":"2084795300439294089","published_at":"2026-08-04 20:50:17","created_at":"2026-08-04T22:43:17+02:00","url":"https://mubeitech.com/p/2084741987702624595","markdown_url":"https://mubeitech.com/p/2084741987702624595/markdown"},{"rank":4,"id":"2041169883501863212","account":"mubei","brand":"@mubei","title":"OpenAI 的下一代模型已经进入发射序列。 内部给出的定性是：一次非常重大的跨越。 现有的模型已经足够强大。 但新一代…","summary":"OpenAI 的下一代模型已经进入发射序列。 内部给出的定性是：一次非常重大的跨越。 现有的模型已经足够强大。 但新一代直接瞄准了科学与经济。 这是决定全人类生活质量的核心底座。 高管们开始密集对外放风。 他们在公开场合频繁暗示即将到来的巨变。 大动作前夕，总要先给市场做一波心理…","body":"OpenAI 的下一代模型已经进入发射序列。\n\n内部给出的定性是：一次非常重大的跨越。\n现有的模型已经足够强大。\n但新一代直接瞄准了科学与经济。\n这是决定全人类生活质量的核心底座。\n\n高管们开始密集对外放风。\n他们在公开场合频繁暗示即将到来的巨变。\n大动作前夕，总要先给市场做一波心理预期管理。\n\n靴子落地的声音已经很近了。\n发布时间表进入最后倒数。\n随时可能突然上线。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2041446561079554345","translated_status_id":"2041446561079554345","published_at":"2026-04-07 07:28:13","created_at":"2026-04-07T09:25:58.993435","url":"https://mubeitech.com/p/2041169883501863212","markdown_url":"https://mubeitech.com/p/2041169883501863212/markdown"},{"rank":5,"id":"2055130148614050264","account":"mubei","brand":"@mubei","title":"英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。 喂进去的数据量是 10 万亿 token。 以…","summary":"英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。 喂进去的数据量是 10 万亿 token。 以前硅谷大厂卷模型，训练精度底线死死卡在 8-bit 甚至 16-bit。 谁都知道把数据精度再砍一半能省下海量显存。 但没人敢在预训练阶段碰 4-bit。 只要…","body":"英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。\n喂进去的数据量是 10 万亿 token。\n\n以前硅谷大厂卷模型，训练精度底线死死卡在 8-bit 甚至 16-bit。\n谁都知道把数据精度再砍一半能省下海量显存。\n但没人敢在预训练阶段碰 4-bit。\n只要精度压到这个级别，模型训练就会极度不稳定，直接崩溃不收敛。\n\n英伟达这次交了底牌，发了一套基于 NVFP4 格式的训练法。\n他们把解决路径拆成了具体动作。\n用随机阿达马变换把区块异常值按住。\n上二维量化控制前向和反向传播的误差。\n再配合随机舍入算法去抓取无偏梯度。\n\n这套操作做完，长程训练稳住了。\n实测跑出来的 MMLU-pro 测试成绩是 62.58%。\n作为对照，用传统 8-bit 精度跑出的基线成绩是 62.62%。\n两者只差了不到 0.05 个百分点。\n\n精度少了一半，准确率几乎毫发无损。\n这意味着同样的硬件，显存消耗直接砍半，算力性能翻了两到三倍。\n英伟达已经把核心代码在 Transformer Engine 里加了支持。\n下一代万亿参数模型的算力入场券，就这么被强行打了个对折。","category":"科技","score":83.3,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-05-15 06:24:35","created_at":"2026-05-15T05:36:24+02:00","url":"https://mubeitech.com/p/2055130148614050264","markdown_url":"https://mubeitech.com/p/2055130148614050264/markdown"},{"rank":6,"id":"2045484064585728489","account":"mubei","brand":"@mubei","title":"Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。…","summary":"Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。 撑大体积的罪魁祸首，是劣质的训练数据。 你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？ 现实极其惨淡。 前沿实验室随机抽查的预训练语料，全是残破的…","body":"Andrej Karpathy揭开了一个反直觉的行业真相。\n现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。\n撑大体积的罪魁祸首，是劣质的训练数据。\n\n你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？\n现实极其惨淡。\n前沿实验室随机抽查的预训练语料，全是残破的HTML代码、股票代码和杂乱无章的乱码。\n人类积累的高质量文本在互联网海洋里极其稀缺。\n\n巨大的信息噪音带来了灾难性的压缩效率。\nLlama 3对训练数据的压缩率低到只有0.07比特每token。\n这意味着模型对自己啃过的大部分内容，仅仅留存了极度模糊的印象。\n庞大的万亿参数，绝大部分并没有参与“认知推理”。\n它们变成了臃肿的记忆库，被迫死记硬背互联网倾泻而下的赛博垃圾。\n\nKarpathy开出的解法极其干脆。\n彻底分离思考与记忆。\n剥离百科全书式的死记硬背，只留下纯粹负责推理和解题的算法逻辑。\n这就是真正的“认知核心”。\n一旦遇到事实盲区，让模型主动去调用外部数据库。\n\n如果只喂极其干净的高质量数据，这个“认知核心”需要多大体积？\n十亿参数。\n回看今天的主流旗舰模型，参数规模在2000亿到1.8万亿之间摇摆。\n超高比例的算力都在替数据的脏乱差买单。\n\n现实数据正在印证这条新路径。\n仅仅两千亿参数的GPT-4o，早就全方位碾压了1.8万亿参数的初代GPT-4。\n过去两年间，跑通GPT-3.5性能的推理成本暴降了足足280倍。\n推动这一切的核心引擎，全部来自更小、更干净、更精巧的模型架构。\n\n当前挡在AI面前的那堵墙，早就不是算力。\n算力匮乏不过是替低劣数据背锅的挡箭牌。\n下一轮大洗牌的唯一筹码是高纯度的数据源。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2045726431263515003","translated_status_id":"2045726431263515003","published_at":"2026-04-19 04:36:24","created_at":"2026-04-19T06:31:10.029346","url":"https://mubeitech.com/p/2045484064585728489","markdown_url":"https://mubeitech.com/p/2045484064585728489/markdown"}]}