深度解读芯片与硬件generatedpublished

苹果统一内存逆袭:被骂黄金内存的芯片架构如何成为大模型推理的显存杀手

统一内存架构的显存单位经济学与带宽受限推理机制

过去好几年,苹果电脑上的内存一直被骂成金子做的。 选配多加 16G 内存,敢找你要两千块钱。 很多买电脑的人都觉得苹果这是在明抢。 可等大模型时代一到,科技圈一帮极客突然算过味来了: 在今天你能买到的所有硬件里,苹果这套挨骂的内存,居然是全世界单位价格最划算的显卡显存。 甚至有人在普通办公室的桌子上,拿四台静悄悄的 Mac Studio 连成集群,直接塞进去了参数量上万亿的大模型。 插的是家用普通排插,全程连风扇噪音都听不见。 有没有搞错? 跑大模型不应该是在数据中心里,把几万块工业级显卡插在轰轰作响的机柜里,吹着专用空调跑吗? 一台普通桌面电脑,凭什么能吃下上千亿参数的模型? 很多人的第一反应,是苹果的芯片算力有多逆天。 算力确实重要,但在本地大模型推理这件事上,大部分人都把瓶颈猜错了。 大语言模型在逐字生成回答时,底层的物理规律极其霸道。 只要模型吐出一个字,芯片就必须把整个模型的全部参数权重,从显存里完完整整读取一遍。 如果一个模型有 700 亿参数,经过 4 位量化之后,体积大约是 40GB。 这意味着,机器每打出一个标点或单词,就得从显存里搬出 40GB 的数据。 你想让它一秒钟吐出 10 个字? 显存带宽的理论门槛,直接就是每秒 400GB。 换句话说,单人跑大模型推理,卡住你的往往不在于计算芯片算得够不够快,在于显存够不够大、倒水倒得够不够猛。 这就是芯片行业常说的内存墙。 碰到这堵墙,英伟达的阵营就尴尬了。 显卡上的高带宽显存是快,但英伟达的刀法出了名的精准。 消费级旗舰显卡 RTX 4090 算力拉满,显存死死卡在 24GB。 想把一个没经过大幅阉割的 700 亿模型整装塞进去,显存直接爆仓。 想买更大显存? 只能去买英伟达的工作站专业卡或者数据中心加速卡。 48GB 显存的专业卡卖近七千美元。 80GB 显存的 H100 卖三万多美元。 想凑齐两百到几百吉字节的显存? 硬件采购费轻松突破十几万美元。 你还得改造房间电力,拉工业级三相电,再忍受八十分贝的风扇尖叫。 苹果当年设计芯片的时候,压根就没想过大模型这回事。 苹果硬件技术高级副总裁斯劳吉(Johny Srouji)带队搞统一内存架构,初衷是为了让笔记本轻薄、省电、剪视频不发热。 他们把中央处理器、图形核心和神经引擎,全封装在同一片硅基基板上。 大家共享同一块统一内存,没有总线拷贝损耗。 到了 Max 和 Ultra 级别的芯片,苹果把内存位宽和通道堆到了夸张的地步,带宽冲到每秒 400GB 甚至 800GB 以上。 最离谱的是容量。 一台顶配 Mac Studio,可以直接选配 192GB 统一内存。 只要跑起来,这 192GB 内存全都可以当作图形显存来使。 算一笔单位经济账: 一整台 192GB 的 Mac Studio,售价七千美元左右。 换算下来,每吉字节可用大模型显存的成本只要三十多美元。 而在英伟达的高端加速卡体系里,每吉字节显存的设备成本动辄就要几百美元。 过去被消费者抱怨昂贵的板载内存,在大模型的高昂显存面前,反而成了降维打击的便宜货。 极客们很快开始把这套硬件往极限推。 开发者阿莱克斯·奇马(Alex Cheema)和他的团队开源了一款叫 Exo 的分布式框架。 他们用雷电 5 接口配合远程直接内存访问技术,把四台各带 512GB 统一内存的机器串在一起。 四台机器合成一个微型集群,总内存达到 2TB,总带宽达到每秒 4.8TB。 万亿参数级别的大模型,就这样被切分装进了四台摆在写字楼工位上的小盒子里。 那么问题来了: 既然苹果的硬件这么适合跑大模型,为什么云端服务器没有全换成苹果? 因为物理规律从不给免费的午餐。 统一内存解决了大模型吐字阶段的带宽饥渴,但它填不平两道鸿沟。 第一道是算力与长文本预处理。 当用户输入几万字的长文档时,大模型在理解上下文的提示词阶段,属于纯粹的计算密集型任务。 英伟达显卡里成千上万个专门的张量核心,在这个阶段的吞吐速度依然能把苹果甩开一大截。 一旦遇到多用户同时并发请求,苹果图形核心的浮点算力就会吃紧。 第二道是软件生态的碎片化。 英伟达靠着耕耘近二十年的 CUDA 软件栈,建起了几乎牢不可破的生态壁垒。 云端有极其成熟的推理服务框架,显存分配、连续批处理、内核优化全都打磨到了极致。 苹果这边呢? 官方虽然推出了机器学习框架 MLX,开源社区也有工具在修修补补,但整体生态依然处于割裂状态。 没有一套像英伟达平台那样稳定、统一、能直接在工业生产环境里开箱即用的推理引擎。 硬件的底子铺好了,搭在上面的软件脚手架却东拼西凑。 统一内存让苹果意外拿到了本地人工智能时代最稀缺的显存门票。 但要把这扇门真正推开,光有一块安静且巨大的内存,显然还远远不够。

引用 / CITATIONS

No citations exported.

同领域解读 / CHIPS & HARDWARE

查看全部「芯片与硬件」解读 →

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情