深度解读AI 与大模型generatedpublished

成本直降90%且每秒超230词:DeepSeek闪电版如何用显存与架构工程攻破AI推理高价壁垒

机制

跑完一整套复杂的模型测试,账单只要零点四四美分。

折算成人民币,还不到四分钱。 而在同一个测试里,对标 OpenAI 的旗舰模型 GPT-6.1,成本直接低了九成。 不仅便宜,生成速度还冲到了每秒 237 个词元。

第一反应大概是:这是服务商在自掏腰包补贴,还是评测的人把小数点看错了? 真不是补贴。 如果算力成本全靠平台倒贴,跑几轮大批量测试就能把账上现金烧光。 它之所以敢把价格压到这个地步,是因为底层算力搬运的方式变了。

很多人以为模型便宜,是因为算力芯片降价了。 平时卡死大模型推理速度的,向来不是算力芯片跑得慢,拖后腿的是显存搬运数据的带宽。 业内管这个叫内存墙。 大模型生成每一个词,都要把显存里的庞大参数从头到尾读一遍。 这就好比一个打字员打字速度飞快,但他每敲一个键,都得跑去隔壁仓库翻一次厚重的大字典。 大部分时间,计算核心都在干等着显存把数据运过来。 显卡耗着昂贵的电,租着昂贵的机房,结果大部分时间在摸鱼。 账单自然降不下来。

那 DeepSeek 的闪电版是怎么跑出每秒 237 个词元的? 先看第一处刀法:混合专家架构。 总参数量虽然大,但它把这些参数拆成了几十上百个专门的小专家。 输入一段话,路由器只唤醒其中两三个最对口的专家去算。 实际参与干活的激活参数,只有整个大模型的一小部分。 打字员不用每次搬整座图书馆了,只抽两页相关笔记。 每次推理要搬运的数据量断崖式下降,速度自然就提上来了。

但光这样还不够。 在高并发场景下吃光显存、推高成本的,是聊天时的上下文历史。 也就是键值缓存。 用户跟模型对话越长,显卡显存里堆积的历史信息就越庞大。 很多时候显卡不是算力不够,是显存被这些对话历史塞爆了,一张卡同时只能伺候两三个请求。 单卡并发上不去,平摊到每次调用的算力成本就会高得吓人。 DeepSeek 用了一套多头隐空间注意力机制。 它把原来又长又胖的上下文缓存,用矩阵压缩成一个小小的低维隐向量。 显存占用直接砍掉了八成以上。 原本一张显卡只能同时挂五个任务,现在能轻松塞下几十个。 服务器不用频繁去慢速内存里来回倒腾数据,单次调用的硬件折旧和电费,瞬间被摊薄到了忽略不计的程度。

算力省下来了,显存腾出来了,那每秒两百多词的速度又是怎么来的? 普通模型是一个词一个词往外蹦。 每生成一个词,就要在显存和计算核心之间跑一个完整来回。 它在训练阶段就加了多标记预测模块。 主干网络每次往前推,顺手把后面几个最可能的词一起猜出来,一次验证通过就一起吐给用户。 这就好比手机输入法,你刚敲出两个字母,整句常用短语已经联想在候选栏上了。 加上低精度的计算优化,整个流水线几乎没有等待气隙。

零点四四美分的账单,拆开看就是这三处工程细节咬合在一起的结果。 把每次计算要搬的数据砍掉大半。 把常驻显存的上下文体积压到极致。 再用多词预测把显卡的等待空隙填满。 当单次调用的物理成本被压低到了几厘钱,大模型的用法就彻底变了。 以前跑一套复杂的自主智能体,反复试错、改代码、纠错十几次,跑完得盯着账单肉疼半天。 现在把这一整套流程完整跑下来,花费还不够买一颗口香糖的包装纸。 工程师不用再抠着预算写提示词,算法也能放开手脚反复推演。 所谓的廉价算力,背后没有神秘魔法, 就是把显卡搬运数据的每一处冗余,全部抠到了极致。

语义相关 / RELATED

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情