科技·via @mubei·83.3·P88

拔掉网线,全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大? 一只手就能稳稳托住。 AMD 拿…

拔掉网线,全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大? 一只手就能稳稳托住。

AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一内存。

算力能装进巴掌大小的空间,靠的是底层架构设计。 这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。 省去了数据在不同模块间来回搬运的损耗。 系统整体性能被大幅拉升。 硬生生把跑大型 AI 模型的算力,压缩进了一台微型桌面台式机里。

大模型的硬件门槛正在被物理击穿。 跑千亿参数模型曾经必须依赖庞大的云端机房。 现在直接变成了摆在桌面上的一台离线私有设备。

导出 / EXPORT