英特尔开源补丁意外泄露 Qwen4-27B：稠密单卡架构打破多卡集群焦虑

还没官宣的大模型，是怎么被几行底层代码补丁扒得干干净净的？

英特尔为了让自家的芯片在新模型发布当天就能跑起来，提前给开源推理框架 vLLM 提交了底层优化代码。 为了赶首发进度，这批补丁早早就合并进了主分支。 坏就坏在，vLLM 是完全开源的。 代码一合并，所有人都能在提交记录里看得一清二楚。 社区里的工程师顺着补丁里的张量形状和算子名字一挖，把还没见光的 Qwen4-27B 架构全给还原了出来。

大家最关心的第一件事：这模型到底有多大？ 前段时间社区里一直在传，新一代旗舰模型全都要上千亿参数的混合专家架构。 真要是那样，普通人根本不用想在自己的电脑上跑，只能老老实实买云端 API，或者搭多卡服务器。 但这次代码里写得清清楚楚：这是一个 270 亿参数的稠密模型。 27B 稠密模型，可以说是单机本地部署最舒服的尺寸。 如果是 INT4 量化，整个模型大概只要 14 到 16 个 G 的显存。 一张 24G 显存的显卡，或者两张普通的 16G 显卡做双卡并行，直接就能吃下。 不需要搭服务器集群，摆在书桌上的电脑就能跑起来。

显存是够了，那它怎么在有限的体积里塞进更强的能力？ 补丁里的算子给出了答案。 先看网络骨架。 普通的模型在层与层之间只有一条数据主干道，前面算完的东西全往这一条道上加。 层数一多，信号容易互相覆盖，网络深了就很难继续学到新东西。 这次他们把主干道拆成了 4 条平行通道，代码里叫超连接。 每一层用门控动态决定往哪条通道写数据，参数量不用翻倍，网络就能装下更复杂的特征。

主干道修好了，那长文本怎么办？ 代码里出现了一个叫 QSA 的稀疏注意力算子。 在本地跑几十万字的长文本，最怕注意力机制把显存和带宽直接吃死。 传统的做法要把每一个词和前面所有词都算一遍，长度翻倍，计算量直接翻四倍。 QSA 换了个路子，把上下文切成 4 个词一组的微型块。 旁边配一个轻量级的索引模块，只挑真正相关的微型块去算。 就算塞进去几十万甚至上百万字的上下文，显存也不会瞬间被撑爆。

最让社区兴奋的，还是生成速度。 补丁里清清楚楚写着多 Token 预测，一次预测 4 个候选词。 平时模型生成文字，都是一个词一个词往外吐。 遇到写代码或者固定的语法逻辑，很多词的走向早就确定了。 这次在骨干网络后面直接挂上预测头，一口气往后猜 4 个词。 只要猜中了就直接收下，单卡的生成速度能直接翻倍，还不用额外挂一个小模型来做投机采样。

硬件厂商为了抢首发，提前把适配代码提交到开源社区。 结果代码里的算子和张量形状，把整个模型的底细全交代了。 对喜欢在本地跑模型的人来说，提前知道新架构固然过瘾。 但更让人踏实的是，最前沿的模型研发并没有把普通人的书桌彻底甩开。 不用租云端算力，也不用上集群。 等到模型正式发布那天，两张显卡装进机箱，最新的主力模型就能在自己的桌面上跑起来了。