{"id":"mb-20261022-2394db","kind":"deep","title":"一秒生成一万五千词：Taalas把大模型焊死在硅片里的工程账本与终极妥协","summary":"大模型推理的真实瓶颈不在计算核心，而在反复搬运模型权重的内存墙。芯片初创公司 Taalas 推出代号 HC1 的芯片，把 Meta 开源的 Llama 3.1 8B 模型直接编译为台积电 6 纳米硅片上的物理连线，以彻底放弃模型升级为代价，实现了每秒一万五千词的极致速度。文章拆解其硬化电路机制、物理尺寸与流片周期的硬边界，以及 AMD 为何在 2026 年 8 月将其收入囊中。","body":"一千字的长文，敲下回车的瞬间直接在屏幕上弹了出来。\n连光标一个字一个字往外吐的过程都没有。\n实测一秒钟生成一万五千个词。\n人类眨一下眼睛大概需要两百毫秒。\n这块芯片把一整篇论文的摘要写完，只要六十毫秒。\n这到底是怎么跑出来的？\n\n现在用最顶级的英伟达 H100 显卡，给单个用户生成文字，一秒钟通常也就跑个一两百词。\n业内以极速著称的 Groq，靠着造价高昂的片上静态显存把延迟压到极致，一秒钟一千多词也基本到了物理极限。\n一万五千词？有没有搞错？\n这已经不是快不快的问题，这是直接把速度拉高了一个数量级。\n\n很多人第一反应，可能是英伟达又发布了什么神仙算力架构。\n但事实上，这根本不是把计算核心做大几十倍那么简单。\n现在的显卡跑大模型之所以慢，毛病不在算力，在传输。\n\n显卡的计算核心其实快得惊人，算力常常能飙到每秒几百万亿次浮点运算。\n但它大部分时间都在挨饿，都在干等。\n为什么会这样？\n这得看大模型是怎么吐字的。\n\n大模型生成文字是一个字接着一个字往外推的，专业上叫自回归生成。\n每生成一个词，机器都必须把模型里的所有参数完整看一遍。\n就算是一个八十亿参数的小模型，哪怕压缩到了较低的精度，整体数据也有几个吉字节大小。\n机器吐出第一个词，必须把这几个吉字节的参数，从外挂的高带宽内存芯片里读出来，顺着总线送到计算核心里算一遍。\n吐出第二个词，又要把这几个吉字节的参数从头到尾再搬运一遍。\n写完一篇文章，这些参数就要在内存和计算核心之间来来回回跑上千次。\n计算核心哪怕每秒钟能做几百亿次乘法，也只能坐在那里干等内存把数据运过来。\n在芯片设计里，这道鸿沟就叫内存墙。\n只要内存和计算核心还是分开的两个部件，数据搬运的速度就锁死了大模型的上限。\n\n既然在内存和计算单元之间搬运数据太慢，那干脆把内存直接扔掉会怎么样？\n提出这个疯狂想法的人叫留比沙·巴吉奇（Ljubisa Bajic）。\n他是芯片架构界的老手，在英伟达和 AMD 干过多年，后来联合创办了著名的芯片公司 Tenstorrent。\n巴吉奇创办了一家叫 Taalas 的半导体公司，带着工程师做了一款代号为 HC1 的芯片。\n\n他们干了一件让所有软件工程师目瞪口呆的事：\n他们不把大模型当成一段随时可以更改的软件代码，直接把 Meta 开源的 Llama 3.1 八十亿参数模型，用物理方式烧死在了芯片的硅片里。\n台积电六纳米工艺，八百一十五平方毫米的芯片面积，挤满了整整五百三十亿个晶体管。\n他们没有给这块芯片配任何外挂的高带宽内存。\n他们把大模型神经网络里的每一层矩阵乘法、每一个权重参数，直接编译成了硅片上的金属连线和晶体管物理结构。\n\n模型参数不再是存放在硬盘或者内存里的数据文件。\n它变成了这块芯片里实实在在的导线和通断开关。\n当你给它发送一段提示词，电信号直接流进这五百三十亿个晶体管搭建的物理迷宫。\n输入刚进门，输出就顺着导线流了出来。\n没有数据搬运，没有总线等待，内存墙被这套物理电路连根拔起。\n一秒钟一万五千词的速度，就是这么来的。\n\n把模型直接铸造在硬件里，速度确实爽翻了。\n但天下没有免费的午餐，这种极端的工程设计付出了巨大的代价。\n代价就是：这块芯片彻底失去了灵活性。\n它从台积电的晶圆厂里造出来的那天起，就永远是 Llama 3.1 八十亿参数模型，再也不能做任何改变。\n它不能运行 Claude，不能运行 GPT，不能运行任何其他架构。\n哪怕下个月 Meta 发布了更聪明的 Llama 4，这块芯片也完全无法升级。\n它一辈子只能干这一件事。\n虽然芯片里留了一小块动态缓存用来支持特定任务的微调插件，但它的地基已经被水泥焊死了。\n\n有人感叹：要是把 Claude Opus 5.5 也这么刻进芯片里，那该有多爽！\n这就是典型的外行狂欢了。\n只要稍微算一算工程账，就知道这完全行不通。\n\n第一个卡死它的，是物理尺寸。\nTaalas 为了把一个只有八十亿参数、还做了极限压缩的小模型刻进芯片，就已经用满了整块八百多平方毫米的硅片，达到了现代光刻机单次曝光的极限。\n像 Claude Opus 这种万亿参数级别的顶尖大模型，如果也想用物理连线焊死，恐怕需要把成百上千块巨大的裸晶拼在一起，光是封装和散热就能把系统压垮。\n\n再一个更致命的，是时间尺度的冲突。\n在半导体行业，定制一款超大规模集成电路，从掩膜版制作、流片生产到封装测试，至少需要半年甚至大半年的周期，一次流片费用就要几千万美元。\n最顶尖的前沿大模型，几个月就会发生一次结构性迭代。\n等你辛辛苦苦把 Opus 5.5 的掩膜版刻好、芯片刚从晶圆厂流水线上打包寄到办公室，外面的实验室早就掏出了 Opus 5.6 甚至 Opus 6。\n花了几千万美元造出来的专用芯片，在拆箱的那一秒钟，就变成了昂贵又落后的工业古董。\n\n那这项技术注定只能是个博人眼球的极端实验吗？\n也不是。\n前沿的超级大模型在拼命狂奔，但基座级别的小模型正在迅速变成社会运转的基础设施。\n比如汽车的自动驾驶座舱、工厂车间的机械臂、需要毫秒级响应的实时同声传译耳机，还有各种边缘智能设备。\n在这些地方，没有人需要模型天天去刷最新的数学竞赛榜单，但对响应速度、发热功耗和硬件成本的要求极其苛刻。\n只要模型架构进入成熟期，一块两百瓦功耗、硬币大小、成本只要几十美元的专用硬化芯片，就能以近乎零延迟的反应，彻底颠覆现有的端侧体验。\n这也是为什么在 2026 年八月，芯片巨头 AMD 果断出手，把 Taalas 整家公司买了下来。\n在通用显卡继续往前线冲锋、探索未知算法边界的同时，总有一些固化下来的能力，会被人类用铜线和硅片浇铸成永恒的机械。","topic":"一秒生成一万五千词：Taalas把大模型焊死在硅片里的工程账本与终极妥协","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-22 20:36:16","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"一秒生成一万五千词：Taalas把大模型焊死在硅片里的工程账本与终极妥协","description":"大模型推理的真实瓶颈不在计算核心，而在反复搬运模型权重的内存墙。芯片初创公司 Taalas 推出代号 HC1 的芯片，把 Meta 开源的 Llama 3.1 8B 模型直接编译为台积电 6 纳米硅片上的物理连线，以彻底放弃模型升级为代价，实现了每秒一万五千词的极致速度。","domain":"chips","domain_label":"芯片与硬件","domain_label_en":"Chips & Hardware","domain_url":"https://mubeitech.com/deep?domain=chips","canonical_url":"https://mubeitech.com/deep/mb-20261022-2394db","markdown_url":"https://mubeitech.com/deep/mb-20261022-2394db/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261022-2394db","published_at":"2026-10-22T20:36:16Z"}