{"source":{"id":"16766749","title":"AI 助手不一定非得住在云端。 它也可以被塞进一块 175 美元的电路板里。 在这个演示中，名叫 Reachy Mini…","url":"https://mubeitech.com/p/16766749"},"method":"semantic-similarity","count":5,"items":[{"rank":1,"id":"2066276671586513317","account":"mubei","brand":"@mubei","title":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。 但它最吓人的地方，是悄悄把AI的“产权关系”给改了。…","summary":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。 但它最吓人的地方，是悄悄把AI的“产权关系”给改了。 来，聊聊我们以前是怎么被“云端大厂”拿捏的。 以前你用ChatGPT或者Claude，本质上都是在“租”。 模型在别人机房里。 算力在别人账本上。 上下文在别…","body":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。\n但它最吓人的地方，是悄悄把AI的“产权关系”给改了。\n\n来，聊聊我们以前是怎么被“云端大厂”拿捏的。\n以前你用ChatGPT或者Claude，本质上都是在“租”。\n模型在别人机房里。\n算力在别人账本上。\n上下文在别人服务器里。\n价格、限额、审查、封号、降智，全在平台一句话。\n你以为自己买的是“智能”，其实买的是一段随时能被掐断的“临时通行权”。\n\n现在，这个权力结构开始塌方了。\n2026年，AMD现场演示了一个名场面：\n四台手掌大小的Ryzen AI Max+ 395小盒子，通过llama.cpp RPC组成了本地集群。\n直接在本地，断网跑起了1T（一万亿）参数级别的Kimi K2.5。\n大模型正在从昂贵的数据中心，疯狂往你的书桌上回流。\n\n这背后，是一个被撞了三十年的“内存墙”。\n1995年，学术界就提过一个概念：Hitting the Memory Wall（撞上内存墙）。\n意思很简单：芯片算得越来越快，内存喂数据的速度却跟不上。\n跑AI最怕这个。\n模型权重太大，每生成一个字，都要把海量参数从内存里“搬”出来走一遍。\n数据在路上堵车，芯片再强，也只能干等。\n\n所以，本地跑大AI的瓶颈在内存，不在算力。\nAMD这台小机器，真正的杀手锏是128GB的统一内存。\nCPU、GPU和NPU不再分家，不用来回倒数据，直接共用一个超高速的大池子。\n这相当于把最昂贵的“数据搬运税”，一刀砍没了。\n\n再加上GGUF量化技术，把模型从16位压缩到4位、5位，牺牲一点点精度，换来体积暴缩。\n配合Mixture of Experts（混合专家模型），比如Qwen3-235B，看似是个2350亿参数的怪兽，其实每次推理只激活22B。\n一减一加。\n“能不能跑大模型”的门槛，直接从“你有没有一整个数据中心”，变成了“你有没有一个足够大的本地内存池”。\n\n这就是权力的重新洗牌。\n云端AI像自来水。\n你随用随付，看似方便。\n但水表在别人手里，水质随时被过滤，想停你水就停你水。\n本地AI像自家发电机。\n买的时候贵一点，用起来麻烦一点。\n但一旦转起来，开不开、跑什么、数据留给谁，全是你说了算。\n\nAI正在从“服务”退回到“资产”。\n服务的核心是访问权。\n资产的核心是所有权。\n只有当大模型能装进你的机器，数据能留在你的硬盘，你和你的小公司，才算第一次真正拥有了自己的“智能主权”。\n\n下次再看到有博主晒“本地跑大模型”，别光跟着起哄看每秒跑多少个字。\n问三个问题：\n它绕开了哪堵内存墙？\nIt把谁的“租赁收入”，变成了我的“固定资产”？\n它把哪一部分智能，从科技巨头手里抢回了用户手里？\n\n能回答这三个问题的本地AI，才不是玩具。\n它是一场数字维度的私有化运动。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2066441685450490184","translated_status_id":"2066441685450490184","published_at":"2026-06-15 08:43:42","created_at":"2026-06-15T10:36:16.892351","url":"https://mubeitech.com/p/2066276671586513317","markdown_url":"https://mubeitech.com/p/2066276671586513317/markdown"},{"rank":2,"id":"16749040","account":"mubei","brand":"@mubei","title":"本地运行AI的门槛，可能已经不是显卡了。 14 MB。 这是微型模型 Cactus Needle 2 的体积。 一共45…","summary":"本地运行AI的门槛，可能已经不是显卡了。 14 MB。 这是微型模型 Cactus Needle 2 的体积。 一共4500万个参数。 想跑动它，需要什么配置？ 大约 28 MB 的运行内存。 不需要显卡，不需要网络，甚至都不需要一台正经电脑。 别误会，它不是用来替代大模型帮你写…","body":"本地运行AI的门槛，可能已经不是显卡了。\n\n14 MB。\n这是微型模型 Cactus Needle 2 的体积。\n一共4500万个参数。\n\n想跑动它，需要什么配置？\n大约 28 MB 的运行内存。\n不需要显卡，不需要网络，甚至都不需要一台正经电脑。\n\n别误会，它不是用来替代大模型帮你写文章的。\n它的定位很明确：一个边缘设备上的微型智能体。\n主要干一件事：在本地调用工具，控制设备。\n\n把AI塞进各种微小硬件里，以前总得算计算力和内存。\n现在，没借口了。","category":"其它","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-11 21:32:43","created_at":"2026-08-11T23:22:15+02:00","url":"https://mubeitech.com/p/16749040","markdown_url":"https://mubeitech.com/p/16749040/markdown"},{"rank":3,"id":"2070963984388251736","account":"mubei","brand":"@mubei","title":"坐 11 个小时的跨洋飞机，你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗？ 一位中共国开发者给出了一个非常硬核…","summary":"坐 11 个小时的跨洋飞机，你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗？ 一位中共国开发者给出了一个非常硬核的答案。 他不买。他利用这段完全没有网络的时间，在自己的 MacBook 上本地运行 Llama 70B 大模型，把积压的任务队列给干完了。 很多人觉得在电脑本…","body":"坐 11 个小时的跨洋飞机，你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗？\n\n一位中共国开发者给出了一个非常硬核的答案。\n他不买。他利用这段完全没有网络的时间，在自己的 MacBook 上本地运行 Llama 70B 大模型，把积压的任务队列给干完了。\n\n很多人觉得在电脑本地跑大模型只是极客的\"炫技\"。\n但这件事，撕开了本地大模型真正的战略意义。\n它第一次把 AI 生产力，从云端订阅、网络连接和平台许可的捆绑里，彻底解放了出来。\n\n过程非常丝滑。\n他带了一台 64GB 内存的 MacBook Pro M4。\n没有网络，不调任何云端 API，不连 OpenAI 或 Anthropic 的服务器。\n电脑里只跑着一个通过 llama.cpp 运行的本地 Llama 3.3 70B 模型，以及一个自己写的编排脚本。\n\n起飞前，他给这个本地系统输入了一段极其清醒的系统提示词：\n\"你是一个单机运行的离线编排器，没有网络。\n你拥有的资源只有本地目录、localhost:8080 上的 Llama 70B 服务器，以及 3 小时 21 分钟的初始电池预算。\n去处理任务队列，完成一个就保存一个，每 12 个任务存一次档。\n电池低于 5% 就暂停，等换好电池再恢复。\"\n\n大模型非常清楚自己的处境。\nIt 知道在未来的 11 个小时里，自己处于断网状态，电量和内存都是有限的，而且人类在降落前不会插手。\n\n于是系统开始单机循环：从队列取任务、本地推理、保存成果、写下存档点。\n根据他晒出的日志，在 6 万左右的上下文下，生成速度达到了每秒 71 个 token，内存占用了 48.6 GiB。\n当电量掉到 5% 以下时，系统自动暂停，等他插上外接充电宝，系统又无缝从上一个存档点恢复，继续往下啃任务。\n等飞机落地时，整条任务队列已经全部跑完。\n\n窗外是云海，小桌板上是一台 MacBook、两个终端窗口，和一个默默运转的 localhost 服务器。\n这才是真正有锋芒的生产力工具。\n\n过去我们被规训得太久，以为没有了网线，没有了向硅谷大厂按月付账的订阅费，AI 就会变成一堆废铁。\n但当 70B 级别的大模型可以被塞进个人电脑，在万米高空、零网络、零服务器成本的情况下稳定产出时，规则就变了。\nAI 的下半场，在昂贵的云端巨兽身上，更在这些被彻底解放出来、随时随地都能自我运转的本地终端里。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2071167056439845195","translated_status_id":"2071167056439845195","published_at":"2026-06-28 09:41:21","created_at":"2026-06-28T11:17:47+02:00","url":"https://mubeitech.com/p/2070963984388251736","markdown_url":"https://mubeitech.com/p/2070963984388251736/markdown"},{"rank":4,"id":"2056329013971517735","account":"mubei","brand":"@mubei","title":"拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大？ 一只手就能稳稳托住。 AMD 拿…","summary":"拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。 跑这套系统的设备有多大？ 一只手就能稳稳托住。 AMD 拿出了目前全球最小的 AI 开发系统。 苏姿丰直接把这台主机端了出来。 里面塞进了他们最高端的 Ryzen AI Max 处理器。 搭配的是 128GB 高速统一…","body":"拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。\n跑这套系统的设备有多大？\n一只手就能稳稳托住。\n\nAMD 拿出了目前全球最小的 AI 开发系统。\n苏姿丰直接把这台主机端了出来。\n里面塞进了他们最高端的 Ryzen AI Max 处理器。\n搭配的是 128GB 高速统一内存。\n\n算力能装进巴掌大小的空间，靠的是底层架构设计。\n这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。\n省去了数据在不同模块间来回搬运的损耗。\n系统整体性能被大幅拉升。\n硬生生把跑大型 AI 模型的算力，压缩进了一台微型桌面台式机里。\n\n大模型的硬件门槛正在被物理击穿。\n跑千亿参数模型曾经必须依赖庞大的云端机房。\n现在直接变成了摆在桌面上的一台离线私有设备。","category":"科技","score":83.3,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-05-18 12:07:21","created_at":"2026-05-18T13:00:16+02:00","url":"https://mubeitech.com/p/2056329013971517735","markdown_url":"https://mubeitech.com/p/2056329013971517735/markdown"},{"rank":5,"id":"2039860001267908756","account":"mubei","brand":"@mubei","title":"大模型圈的桌子被谷歌直接掀了。 怎么回事？ 排在全球AI排行榜第三的模型，你家书桌上的普通电脑就能跑。 这头刚放出的开源…","summary":"大模型圈的桌子被谷歌直接掀了。 怎么回事？ 排在全球AI排行榜第三的模型，你家书桌上的普通电脑就能跑。 这头刚放出的开源怪兽叫Gemma 4。 它的身形只有区区310亿参数。 跟它同台竞技的，全是几千亿甚至上万亿参数的巨无霸。 那些庞然大物就算你花几十万买设备都带不动。 Gemm…","body":"大模型圈的桌子被谷歌直接掀了。\n怎么回事？\n排在全球AI排行榜第三的模型，你家书桌上的普通电脑就能跑。\n\n这头刚放出的开源怪兽叫Gemma 4。\n它的身形只有区区310亿参数。\n跟它同台竞技的，全是几千亿甚至上万亿参数的巨无霸。\n那些庞然大物就算你花几十万买设备都带不动。\nGemma 4硬是靠着小体格打出了降维暴击。\n\n它还有20亿和40亿参数的微型版。\n专门给你塞进手机和树莓派用的。\n拔掉网线。\n完全离线运行。\n延迟无限接近于零。\n视觉、音频和智能体工作流统统原生支持。\n\n别再迷信那些靠疯狂堆料建机房的科技巨头了。\n把算力锁在云端收割订阅费的吃相，今天被彻底撕开了一道口子。\n硅谷的封闭花园里，有人把技术主导权的钥匙扔到了平民的大街上。\n属于普通人的私人算力节点，现在已经全部插上了电。","category":"其它","score":100,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-04-03 11:13:31","created_at":"2026-04-03T12:37:29.067429","url":"https://mubeitech.com/p/2039860001267908756","markdown_url":"https://mubeitech.com/p/2039860001267908756/markdown"}]}