科技·via @mubei·83.3

拔掉网线,全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大? 一只手就能稳稳托住。 AMD 拿…

拔掉网线,全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大? 一只手就能稳稳托住。

AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一内存。

算力能装进巴掌大小的空间,靠的是底层架构设计。 这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。 省去了数据在不同模块间来回搬运的损耗。 系统整体性能被大幅拉升。 硬生生把跑大型 AI 模型的算力,压缩进了一台微型桌面台式机里。

大模型的硬件门槛正在被物理击穿。 跑千亿参数模型曾经必须依赖庞大的云端机房。 现在直接变成了摆在桌面上的一台离线私有设备。

相关 / RELATED

JSON

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封信号简报,重大进展可选即时推送。

不追踪打开与点击,一键退订。 或用 RSS · 详情