科技软件与工程·via @mubei

8160亿参数的开源大模型,能在桌面上跑了。 再确认一遍,不是机房集群,就在桌面上。 谁干的? Meta和苹果联手干的。

8160亿参数的开源大模型,能在桌面上跑了。 再确认一遍,不是机房集群,就在桌面上。 谁干的? Meta和苹果联手干的。

多年死对头,突然破冰握手。 Meta把自家大模型 Muse Spark Open 的权重直接开源。 总参数高达8160亿(816B)。 苹果亲自下场,针对自家的 MLX 框架做了专门适配。

8000多亿参数,什么电脑吞得下? 运行门槛卡得很死:两台互联的 Mac Studio。 普通单台电脑不用想,根本带不动。 但只要两台级联在一起,这个巨无霸就能在本地跑起来。

机房级别的模型,怎么塞进两台桌面电脑的? 关键在计算机制上。 8160亿是总参数,但生成每一个词(token)时,实际只激活420亿(42B)参数。 靠着这种稀疏激活,绝大部分计算负担被当场卸掉了。

斗了这么多年,两家公司最终在开源上走到了一起。 一个负责放权重,一个负责调框架。 两台连在一起的桌面设备,就这么接住了一个原本属于算力中心的庞然大物。

翻译视频 / X 同步发布

近期实时流信号 / STREAM SIGNALS

返回实时流 →

首发与规范引用:墓碑科技 MUBEITECH(https://mubeitech.com/p/2110838738423341515) · X 同步推文:https://x.com/i/status/2110849176376619454

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论与信号,周一发出。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情