{"source":{"id":"16749040","title":"本地运行AI的门槛，可能已经不是显卡了。 14 MB。 这是微型模型 Cactus Needle 2 的体积。 一共45…","url":"https://mubeitech.com/p/16749040"},"method":"semantic-similarity","count":4,"items":[{"rank":1,"id":"2056329013971517735","account":"mubei","brand":"@mubei","title":"拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大？ 一只手就能稳稳托住。 AMD 拿…","summary":"拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大？ 一只手就能稳稳托住。 AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一…","body":"拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。\n跑这套系统的设备有多大？\n一只手就能稳稳托住。\n\nAMD 拿出了目前全球最小的 AI 开发系统。\n苏姿丰直接把这台主机端了出来。\n里面塞进了他们最高端的 Ryzen AI Max 处理器。\n搭配的是 128GB 高速统一内存。\n\n算力能装进巴掌大小的空间，靠的是底层架构设计。\n这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。\n省去了数据在不同模块间来回搬运的损耗。\n系统整体性能被大幅拉升。\n硬生生把跑大型 AI 模型的算力，压缩进了一台微型桌面台式机里。\n\n大模型的硬件门槛正在被物理击穿。\n跑千亿参数模型曾经必须依赖庞大的云端机房。\n现在直接变成了摆在桌面上的一台离线私有设备。","category":"科技","score":83.3,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-05-18 12:07:21","created_at":"2026-05-18T13:00:16+02:00","url":"https://mubeitech.com/p/2056329013971517735","markdown_url":"https://mubeitech.com/p/2056329013971517735/markdown"},{"rank":2,"id":"2066276671586513317","account":"mubei","brand":"@mubei","title":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。 但它最吓人的地方，是悄悄把AI的“产权关系”给改了。…","summary":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。 但它最吓人的地方，是悄悄把AI的“产权关系”给改了。 来，聊聊我们以前是怎么被“云端大厂”拿捏的。 以前你用ChatGPT或者Claude，本质上都是在“租”。 模型在别人机房里。 算力在别人账本上。 上下文在别…","body":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。\n但它最吓人的地方，是悄悄把AI的“产权关系”给改了。\n\n来，聊聊我们以前是怎么被“云端大厂”拿捏的。\n以前你用ChatGPT或者Claude，本质上都是在“租”。\n模型在别人机房里。\n算力在别人账本上。\n上下文在别人服务器里。\n价格、限额、审查、封号、降智，全在平台一句话。\n你以为自己买的是“智能”，其实买的是一段随时能被掐断的“临时通行权”。\n\n现在，这个权力结构开始塌方了。\n2026年，AMD现场演示了一个名场面：\n四台手掌大小的Ryzen AI Max+ 395小盒子，通过llama.cpp RPC组成了本地集群。\n直接在本地，断网跑起了1T（一万亿）参数级别的Kimi K2.5。\n大模型正在从昂贵的数据中心，疯狂往你的书桌上回流。\n\n这背后，是一个被撞了三十年的“内存墙”。\n1995年，学术界就提过一个概念：Hitting the Memory Wall（撞上内存墙）。\n意思很简单：芯片算得越来越快，内存喂数据的速度却跟不上。\n跑AI最怕这个。\n模型权重太大，每生成一个字，都要把海量参数从内存里“搬”出来走一遍。\n数据在路上堵车，芯片再强，也只能干等。\n\n所以，本地跑大AI的瓶颈在内存，不在算力。\nAMD这台小机器，真正的杀手锏是128GB的统一内存。\nCPU、GPU和NPU不再分家，不用来回倒数据，直接共用一个超高速的大池子。\n这相当于把最昂贵的“数据搬运税”，一刀砍没了。\n\n再加上GGUF量化技术，把模型从16位压缩到4位、5位，牺牲一点点精度，换来体积暴缩。\n配合Mixture of Experts（混合专家模型），比如Qwen3-235B，看似是个2350亿参数的怪兽，其实每次推理只激活22B。\n一减一加。\n“能不能跑大模型”的门槛，直接从“你有没有一整个数据中心”，变成了“你有没有一个足够大的本地内存池”。\n\n这就是权力的重新洗牌。\n云端AI像自来水。\n你随用随付，看似方便。\n但水表在别人手里，水质随时被过滤，想停你水就停你水。\n本地AI像自家发电机。\n买的时候贵一点，用起来麻烦一点。\n但一旦转起来，开不开、跑什么、数据留给谁，全是你说了算。\n\nAI正在从“服务”退回到“资产”。\n服务的核心是访问权。\n资产的核心是所有权。\n只有当大模型能装进你的机器，数据能留在你的硬盘，你和你的小公司，才算第一次真正拥有了自己的“智能主权”。\n\n下次再看到有博主晒“本地跑大模型”，别光跟着起哄看每秒跑多少个字。\n问三个问题：\n它绕开了哪堵内存墙？\nIt把谁的“租赁收入”，变成了我的“固定资产”？\n它把哪一部分智能，从科技巨头手里抢回了用户手里？\n\n能回答这三个问题的本地AI，才不是玩具。\n它是一场数字维度的私有化运动。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2066441685450490184","translated_status_id":"2066441685450490184","published_at":"2026-06-15 08:43:42","created_at":"2026-06-15T10:36:16.892351","url":"https://mubeitech.com/p/2066276671586513317","markdown_url":"https://mubeitech.com/p/2066276671586513317/markdown"},{"rank":3,"id":"2080394326744400301","account":"mubei","brand":"@mubei","title":"你的电脑，以后不只是拿来跑本地模型了。 它会变成一个微型的算力节点。 门槛有多高？ 在Buzz里点一下鼠标就行。 打开开…","summary":"你的电脑，以后不只是拿来跑本地模型了。 它会变成一个微型的算力节点。 门槛有多高？ 在Buzz里点一下鼠标就行。 打开开关，你本地部署的大模型，立刻就能对Agent（智能体）和其他人开放。 看看这台机器的底子。 苹果M5 Max芯片，配上128GB的AI专属内存。 这个级别的个人…","body":"你的电脑，以后不只是拿来跑本地模型了。\n它会变成一个微型的算力节点。\n\n门槛有多高？\n在Buzz里点一下鼠标就行。\n打开开关，你本地部署的大模型，立刻就能对Agent（智能体）和其他人开放。\n\n看看这台机器的底子。\n苹果M5 Max芯片，配上128GB的AI专属内存。\n这个级别的个人硬件能装下什么？\n48GB的Qwen3，47GB的Qwen2.5-72B，还有43GB的Llama-3.3和DeepSeek-R1。\n一排重磅的开源大模型，在这台电脑上全部显示“完美适配”。\n\n把这些庞然大物塞进个人电脑，绝不是为了当单机玩具。\n真正厉害的是它的底层调度机制。\n一旦开启共享，你的Agent会自动去网络池子里，挑那个最大、最合适的模型来干活。\n\n这是一种全新的玩法。\n你的闲置算力，变成了整个网络的推理资源。\n算力不再只锁在云端大厂的机房里。\n只要你愿意，你的电脑就是下一台服务器。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2080465507065495817","translated_status_id":"2080465507065495817","published_at":"2026-07-24 00:06:47","created_at":"2026-07-24T02:01:17+02:00","url":"https://mubeitech.com/p/2080394326744400301","markdown_url":"https://mubeitech.com/p/2080394326744400301/markdown"},{"rank":4,"id":"2055185159624802758","account":"mubei","brand":"@mubei","title":"249 美元。 25 瓦功耗。 一台能在本地跑大模型的电脑。 黄仁勋手里捏着一块还没巴掌大的电路板。 这台机器叫 Jet…","summary":"249 美元。 25 瓦功耗。 一台能在本地跑大模型的电脑。 黄仁勋手里捏着一块还没巴掌大的电路板。 这台机器叫 Jetson Nano Super。 算力逼近每秒 70 万亿次。 老大哥 HGX 能跑的计算任务，它全接了。 老黄调侃说，这东西在炉子里烤太久，缩水了。 体积缩水，…","body":"249 美元。\n25 瓦功耗。\n一台能在本地跑大模型的电脑。\n\n黄仁勋手里捏着一块还没巴掌大的电路板。\n这台机器叫 Jetson Nano Super。\n算力逼近每秒 70 万亿次。\n老大哥 HGX 能跑的计算任务，它全接了。\n\n老黄调侃说，这东西在炉子里烤太久，缩水了。\n体积缩水，但桌面的底牌变了。\n\n跑本地大模型以前是什么阵仗？\n几万美金的显卡堆叠，配上满负荷运转的散热风扇。\n现在门槛被砸到了一个路由器的功耗和价格。\n25 瓦，刚好够点亮几个家用小灯泡。\n\n数据不用传云端，不用看 API 定价的脸色。\n买回去，插上电。\n硅谷的算力霸主开始扫荡普通人的桌面了。","category":"科技","score":83.3,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-05-15 10:44:35","created_at":"2026-05-15T09:15:00+02:00","url":"https://mubeitech.com/p/2055185159624802758","markdown_url":"https://mubeitech.com/p/2055185159624802758/markdown"}]}