科技·via @mubei·83.3 分
拔掉网线,全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大? 一只手就能稳稳托住。 AMD 拿…
拔掉网线,全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大? 一只手就能稳稳托住。
AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一内存。
算力能装进巴掌大小的空间,靠的是底层架构设计。 这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。 省去了数据在不同模块间来回搬运的损耗。 系统整体性能被大幅拉升。 硬生生把跑大型 AI 模型的算力,压缩进了一台微型桌面台式机里。
大模型的硬件门槛正在被物理击穿。 跑千亿参数模型曾经必须依赖庞大的云端机房。 现在直接变成了摆在桌面上的一台离线私有设备。
相关 / RELATED
JSON- MLisa Su手里那台巴掌大的小机器,能跑2000亿参数的大模型。 但它最吓人的地方,是悄悄把AI的“产权关系”给改了。…
- M把128GB统一内存塞进轻薄本,英伟达发布 RTX Spark 超级芯片,直接重塑 Windows PC 的天花板。 里…
- M你的电脑,以后不只是拿来跑本地模型了。 它会变成一个微型的算力节点。 门槛有多高? 在Buzz里点一下鼠标就行。 打开开…
- M本地运行AI的门槛,可能已经不是显卡了。 14 MB。 这是微型模型 Cactus Needle 2 的体积。 一共45…
- M科技一台 4700 美元的个人电脑,能在本地跑动参数量上千亿的顶级大模型
- M英伟达的本地 AI 推理盒子 DGX Spark 卖 4699 美元。 因为全球内存荒,前阵子刚涨了 700 刀。 AM…
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封信号简报,重大进展可选即时推送。