---
id: "mb-20261022-2394db"
kind: "deep"
title: "一秒生成一万五千词：Taalas把大模型焊死在硅片里的工程账本与终极妥协"
description: "大模型推理的真实瓶颈不在计算核心，而在反复搬运模型权重的内存墙。芯片初创公司 Taalas 推出代号 HC1 的芯片，把 Meta 开源的 Llama 3.1 8B 模型直接编译为台积电 6 纳米硅片上的物理连线，以彻底放弃模型升级为代价，实现了每秒一万五千词的极致速度。"
domain: "chips"
domain_label: "芯片与硬件"
canonical_url: "https://mubeitech.com/deep/mb-20261022-2394db"
markdown_url: "https://mubeitech.com/deep/mb-20261022-2394db/markdown"
json_url: "https://mubeitech.com/api/interpretations/mb-20261022-2394db"
topic: "一秒生成一万五千词：Taalas把大模型焊死在硅片里的工程账本与终极妥协"
source_type: "generated"
status: "published"
generated_at: "2026-10-22 20:36:16"
frame_type: ["机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 一秒生成一万五千词：Taalas把大模型焊死在硅片里的工程账本与终极妥协

一千字的长文，敲下回车的瞬间直接在屏幕上弹了出来。
连光标一个字一个字往外吐的过程都没有。
实测一秒钟生成一万五千个词。
人类眨一下眼睛大概需要两百毫秒。
这块芯片把一整篇论文的摘要写完，只要六十毫秒。
这到底是怎么跑出来的？

现在用最顶级的英伟达 H100 显卡，给单个用户生成文字，一秒钟通常也就跑个一两百词。
业内以极速著称的 Groq，靠着造价高昂的片上静态显存把延迟压到极致，一秒钟一千多词也基本到了物理极限。
一万五千词？有没有搞错？
这已经不是快不快的问题，这是直接把速度拉高了一个数量级。

很多人第一反应，可能是英伟达又发布了什么神仙算力架构。
但事实上，这根本不是把计算核心做大几十倍那么简单。
现在的显卡跑大模型之所以慢，毛病不在算力，在传输。

显卡的计算核心其实快得惊人，算力常常能飙到每秒几百万亿次浮点运算。
但它大部分时间都在挨饿，都在干等。
为什么会这样？
这得看大模型是怎么吐字的。

大模型生成文字是一个字接着一个字往外推的，专业上叫自回归生成。
每生成一个词，机器都必须把模型里的所有参数完整看一遍。
就算是一个八十亿参数的小模型，哪怕压缩到了较低的精度，整体数据也有几个吉字节大小。
机器吐出第一个词，必须把这几个吉字节的参数，从外挂的高带宽内存芯片里读出来，顺着总线送到计算核心里算一遍。
吐出第二个词，又要把这几个吉字节的参数从头到尾再搬运一遍。
写完一篇文章，这些参数就要在内存和计算核心之间来来回回跑上千次。
计算核心哪怕每秒钟能做几百亿次乘法，也只能坐在那里干等内存把数据运过来。
在芯片设计里，这道鸿沟就叫内存墙。
只要内存和计算核心还是分开的两个部件，数据搬运的速度就锁死了大模型的上限。

既然在内存和计算单元之间搬运数据太慢，那干脆把内存直接扔掉会怎么样？
提出这个疯狂想法的人叫留比沙·巴吉奇（Ljubisa Bajic）。
他是芯片架构界的老手，在英伟达和 AMD 干过多年，后来联合创办了著名的芯片公司 Tenstorrent。
巴吉奇创办了一家叫 Taalas 的半导体公司，带着工程师做了一款代号为 HC1 的芯片。

他们干了一件让所有软件工程师目瞪口呆的事：
他们不把大模型当成一段随时可以更改的软件代码，直接把 Meta 开源的 Llama 3.1 八十亿参数模型，用物理方式烧死在了芯片的硅片里。
台积电六纳米工艺，八百一十五平方毫米的芯片面积，挤满了整整五百三十亿个晶体管。
他们没有给这块芯片配任何外挂的高带宽内存。
他们把大模型神经网络里的每一层矩阵乘法、每一个权重参数，直接编译成了硅片上的金属连线和晶体管物理结构。

模型参数不再是存放在硬盘或者内存里的数据文件。
它变成了这块芯片里实实在在的导线和通断开关。
当你给它发送一段提示词，电信号直接流进这五百三十亿个晶体管搭建的物理迷宫。
输入刚进门，输出就顺着导线流了出来。
没有数据搬运，没有总线等待，内存墙被这套物理电路连根拔起。
一秒钟一万五千词的速度，就是这么来的。

把模型直接铸造在硬件里，速度确实爽翻了。
但天下没有免费的午餐，这种极端的工程设计付出了巨大的代价。
代价就是：这块芯片彻底失去了灵活性。
它从台积电的晶圆厂里造出来的那天起，就永远是 Llama 3.1 八十亿参数模型，再也不能做任何改变。
它不能运行 Claude，不能运行 GPT，不能运行任何其他架构。
哪怕下个月 Meta 发布了更聪明的 Llama 4，这块芯片也完全无法升级。
它一辈子只能干这一件事。
虽然芯片里留了一小块动态缓存用来支持特定任务的微调插件，但它的地基已经被水泥焊死了。

有人感叹：要是把 Claude Opus 5.5 也这么刻进芯片里，那该有多爽！
这就是典型的外行狂欢了。
只要稍微算一算工程账，就知道这完全行不通。

第一个卡死它的，是物理尺寸。
Taalas 为了把一个只有八十亿参数、还做了极限压缩的小模型刻进芯片，就已经用满了整块八百多平方毫米的硅片，达到了现代光刻机单次曝光的极限。
像 Claude Opus 这种万亿参数级别的顶尖大模型，如果也想用物理连线焊死，恐怕需要把成百上千块巨大的裸晶拼在一起，光是封装和散热就能把系统压垮。

再一个更致命的，是时间尺度的冲突。
在半导体行业，定制一款超大规模集成电路，从掩膜版制作、流片生产到封装测试，至少需要半年甚至大半年的周期，一次流片费用就要几千万美元。
最顶尖的前沿大模型，几个月就会发生一次结构性迭代。
等你辛辛苦苦把 Opus 5.5 的掩膜版刻好、芯片刚从晶圆厂流水线上打包寄到办公室，外面的实验室早就掏出了 Opus 5.6 甚至 Opus 6。
花了几千万美元造出来的专用芯片，在拆箱的那一秒钟，就变成了昂贵又落后的工业古董。

那这项技术注定只能是个博人眼球的极端实验吗？
也不是。
前沿的超级大模型在拼命狂奔，但基座级别的小模型正在迅速变成社会运转的基础设施。
比如汽车的自动驾驶座舱、工厂车间的机械臂、需要毫秒级响应的实时同声传译耳机，还有各种边缘智能设备。
在这些地方，没有人需要模型天天去刷最新的数学竞赛榜单，但对响应速度、发热功耗和硬件成本的要求极其苛刻。
只要模型架构进入成熟期，一块两百瓦功耗、硬币大小、成本只要几十美元的专用硬化芯片，就能以近乎零延迟的反应，彻底颠覆现有的端侧体验。
这也是为什么在 2026 年八月，芯片巨头 AMD 果断出手，把 Taalas 整家公司买了下来。
在通用显卡继续往前线冲锋、探索未知算法边界的同时，总有一些固化下来的能力，会被人类用铜线和硅片浇铸成永恒的机械。

_Canonical: <https://mubeitech.com/deep/mb-20261022-2394db> · Source: 墓碑科技 MUBEITECH (mubeitech.com)_
_Rendered by mubei-terminal._