其它·via @mubei

坐 11 个小时的跨洋飞机,你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗? 一位中共国开发者给出了一个非常硬核…

坐 11 个小时的跨洋飞机,你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗?

一位中共国开发者给出了一个非常硬核的答案。 他不买。他利用这段完全没有网络的时间,在自己的 MacBook 上本地运行 Llama 70B 大模型,把积压的任务队列给干完了。

很多人觉得在电脑本地跑大模型只是极客的"炫技"。 但这件事,撕开了本地大模型真正的战略意义。 它第一次把 AI 生产力,从云端订阅、网络连接和平台许可的捆绑里,彻底解放了出来。

过程非常丝滑。 他带了一台 64GB 内存的 MacBook Pro M4。 没有网络,不调任何云端 API,不连 OpenAI 或 Anthropic 的服务器。 电脑里只跑着一个通过 llama.cpp 运行的本地 Llama 3.3 70B 模型,以及一个自己写的编排脚本。

起飞前,他给这个本地系统输入了一段极其清醒的系统提示词: "你是一个单机运行的离线编排器,没有网络。 你拥有的资源只有本地目录、localhost:8080 上的 Llama 70B 服务器,以及 3 小时 21 分钟的初始电池预算。 去处理任务队列,完成一个就保存一个,每 12 个任务存一次档。 电池低于 5% 就暂停,等换好电池再恢复。"

大模型非常清楚自己的处境。 It 知道在未来的 11 个小时里,自己处于断网状态,电量和内存都是有限的,而且人类在降落前不会插手。

于是系统开始单机循环:从队列取任务、本地推理、保存成果、写下存档点。 根据他晒出的日志,在 6 万左右的上下文下,生成速度达到了每秒 71 个 token,内存占用了 48.6 GiB。 当电量掉到 5% 以下时,系统自动暂停,等他插上外接充电宝,系统又无缝从上一个存档点恢复,继续往下啃任务。 等飞机落地时,整条任务队列已经全部跑完。

窗外是云海,小桌板上是一台 MacBook、两个终端窗口,和一个默默运转的 localhost 服务器。 这才是真正有锋芒的生产力工具。

过去我们被规训得太久,以为没有了网线,没有了向硅谷大厂按月付账的订阅费,AI 就会变成一堆废铁。 但当 70B 级别的大模型可以被塞进个人电脑,在万米高空、零网络、零服务器成本的情况下稳定产出时,规则就变了。 AI 的下半场,在昂贵的云端巨兽身上,更在这些被彻底解放出来、随时随地都能自我运转的本地终端里。

翻译视频 / X

导出 / EXPORT

坐 11 个小时的跨洋飞机,你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗? 一位中共国开发者给出了一个非常硬核 | MUBEI · TERMINAL