8160亿参数的开源大模型,能在桌面上跑了。 再确认一遍,不是机房集群,就在桌面上。 谁干的? Meta和苹果联手干的。
8160亿参数的开源大模型,能在桌面上跑了。 再确认一遍,不是机房集群,就在桌面上。 谁干的? Meta和苹果联手干的。
多年死对头,突然破冰握手。 Meta把自家大模型 Muse Spark Open 的权重直接开源。 总参数高达8160亿(816B)。 苹果亲自下场,针对自家的 MLX 框架做了专门适配。
8000多亿参数,什么电脑吞得下? 运行门槛卡得很死:两台互联的 Mac Studio。 普通单台电脑不用想,根本带不动。 但只要两台级联在一起,这个巨无霸就能在本地跑起来。
机房级别的模型,怎么塞进两台桌面电脑的? 关键在计算机制上。 8160亿是总参数,但生成每一个词(token)时,实际只激活420亿(42B)参数。 靠着这种稀疏激活,绝大部分计算负担被当场卸掉了。
斗了这么多年,两家公司最终在开源上走到了一起。 一个负责放权重,一个负责调框架。 两台连在一起的桌面设备,就这么接住了一个原本属于算力中心的庞然大物。
翻译视频 / X 同步发布
近期实时流信号 / STREAM SIGNALS
返回实时流 →首发与规范引用:墓碑科技 MUBEITECH(https://mubeitech.com/p/2110838738423341515) · X 同步推文:https://x.com/i/status/2110849176376619454
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论与信号,周一发出。