{"source":{"id":"2064281585621610515","title":"你现在下载的本地大模型，很多都不用配环境、不装 Python，双击就能直接在 Windows 和 Mac 上跑。 背后把…","url":"https://mubeitech.com/p/2064281585621610515"},"method":"semantic-similarity","count":6,"items":[{"rank":1,"id":"2070963984388251736","account":"mubei","brand":"@mubei","title":"坐 11 个小时的跨洋飞机，你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗？ 一位中共国开发者给出了一个非常硬核…","summary":"坐 11 个小时的跨洋飞机，你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗？ 一位中共国开发者给出了一个非常硬核的答案。 他不买。他利用这段完全没有网络的时间，在自己的 MacBook 上本地运行 Llama 70B 大模型，把积压的任务队列给干完了。 很多人觉得在电脑本…","body":"坐 11 个小时的跨洋飞机，你愿意花 25 美元连那个又慢又卡的机上 WiFi 吗？\n\n一位中共国开发者给出了一个非常硬核的答案。\n他不买。他利用这段完全没有网络的时间，在自己的 MacBook 上本地运行 Llama 70B 大模型，把积压的任务队列给干完了。\n\n很多人觉得在电脑本地跑大模型只是极客的\"炫技\"。\n但这件事，撕开了本地大模型真正的战略意义。\n它第一次把 AI 生产力，从云端订阅、网络连接和平台许可的捆绑里，彻底解放了出来。\n\n过程非常丝滑。\n他带了一台 64GB 内存的 MacBook Pro M4。\n没有网络，不调任何云端 API，不连 OpenAI 或 Anthropic 的服务器。\n电脑里只跑着一个通过 llama.cpp 运行的本地 Llama 3.3 70B 模型，以及一个自己写的编排脚本。\n\n起飞前，他给这个本地系统输入了一段极其清醒的系统提示词：\n\"你是一个单机运行的离线编排器，没有网络。\n你拥有的资源只有本地目录、localhost:8080 上的 Llama 70B 服务器，以及 3 小时 21 分钟的初始电池预算。\n去处理任务队列，完成一个就保存一个，每 12 个任务存一次档。\n电池低于 5% 就暂停，等换好电池再恢复。\"\n\n大模型非常清楚自己的处境。\nIt 知道在未来的 11 个小时里，自己处于断网状态，电量和内存都是有限的，而且人类在降落前不会插手。\n\n于是系统开始单机循环：从队列取任务、本地推理、保存成果、写下存档点。\n根据他晒出的日志，在 6 万左右的上下文下，生成速度达到了每秒 71 个 token，内存占用了 48.6 GiB。\n当电量掉到 5% 以下时，系统自动暂停，等他插上外接充电宝，系统又无缝从上一个存档点恢复，继续往下啃任务。\n等飞机落地时，整条任务队列已经全部跑完。\n\n窗外是云海，小桌板上是一台 MacBook、两个终端窗口，和一个默默运转的 localhost 服务器。\n这才是真正有锋芒的生产力工具。\n\n过去我们被规训得太久，以为没有了网线，没有了向硅谷大厂按月付账的订阅费，AI 就会变成一堆废铁。\n但当 70B 级别的大模型可以被塞进个人电脑，在万米高空、零网络、零服务器成本的情况下稳定产出时，规则就变了。\nAI 的下半场，在昂贵的云端巨兽身上，更在这些被彻底解放出来、随时随地都能自我运转的本地终端里。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2071167056439845195","translated_status_id":"2071167056439845195","published_at":"2026-06-28 09:41:21","created_at":"2026-06-28T11:17:47+02:00","url":"https://mubeitech.com/p/2070963984388251736","markdown_url":"https://mubeitech.com/p/2070963984388251736/markdown"},{"rank":2,"id":"2063903532575752211","account":"mubei","brand":"@mubei","title":"你刷的每一条 TikTok，看的每一部 Netflix，甚至 AWS 和微软云底层的虚拟机，全都在跑同一个人的代码。 他…","summary":"你刷的每一条 TikTok，看的每一部 Netflix，甚至 AWS 和微软云底层的虚拟机，全都在跑同一个人的代码。 他叫 Fabrice Bellard。 没去过硅谷，没建过商业帝国，没有推特账号。 三十年来，他躲在巴黎，安安静静手搓了现代互联网的底层。 看下什么叫真正的\"一个…","body":"你刷的每一条 TikTok，看的每一部 Netflix，甚至 AWS 和微软云底层的虚拟机，全都在跑同一个人的代码。\n\n他叫 Fabrice Bellard。\n没去过硅谷，没建过商业帝国，没有推特账号。\n三十年来，他躲在巴黎，安安静静手搓了现代互联网的底层。\n\n看下什么叫真正的\"一个人就是一支军队\"。\n2000年，28岁的他启动了 FFmpeg。\n做了一件当时没人能做好的事：把所有音视频格式的编解码统一到一个库里。\n现在，YouTube 用它，Netflix 用它，Chrome 用它。\n你手里的每一台手机、家里的每一台智能电视，底层全跑着 FFmpeg。\n只要你这二十年里看过视频，你就用过他的代码。\n\n这足够吃一辈子老本，但他连停都没停。\n2003年，他开始写 QEMU。\n一个人单干把代码撸到了 2005 年的 0.7.1 版本。\n这玩意成了现代虚拟化技术的基石。\n现在，AWS、Google Cloud、微软 Azure 上的千万台虚拟机，全跑在基于 QEMU 的基础架构上。\n\n他的其他项目同样惊人：\n2001年，写了个微型 C 语言编译器（TCC），不到15秒就能从源码编译并启动 Linux 内核。\n2004年，用一台普通台式机，加上自己推导的 Bellard's formula，算出了当时人类历史上最长的圆周率。\n2011年，用纯 JavaScript 写了个模拟器，让大家直接在浏览器里跑 Linux。一堆工程师看了以为是假新闻。\n\n到了大模型时代，人家也不闲着。\n搞了个本地跑 LLM 的服务器（TextSynth Server），还拿语言模型去搞极其变态的文本和短信压缩，硬是打破了传统算法的极限。\n就在 2025 年 12 月，他又弄了个 Micro QuickJS，专给几乎没有内存的微控制器跑的 JS 引擎。\n\n点开他的个人主页（bellard.org）。\n没有 UI，没有字体设计，没有一句吹牛的营销文案。\n就一堆干巴巴的纯文本链接。\n顺带一提，他 2012 年还合伙搞了个电信公司，做 4G/5G 基站软件，稳稳当当当着 CTO。\n\n在这个人人都在包装概念、写两行调包代码就敢吹改变世界的时代。\n这个法国大叔证明了一件事：\n真正的极客，不需要去硅谷，不需要高谈阔论。\n只要一台电脑，没有废话，一直写下去，你就能把整个数字世界扛在肩上。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2064303996001452184","translated_status_id":"2064303996001452184","published_at":"2026-06-09 10:33:19","created_at":"2026-06-09T12:29:29.357469","url":"https://mubeitech.com/p/2063903532575752211","markdown_url":"https://mubeitech.com/p/2063903532575752211/markdown"},{"rank":3,"id":"2066276671586513317","account":"mubei","brand":"@mubei","title":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。 但它最吓人的地方，是悄悄把AI的“产权关系”给改了。…","summary":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。 但它最吓人的地方，是悄悄把AI的“产权关系”给改了。 来，聊聊我们以前是怎么被“云端大厂”拿捏的。 以前你用ChatGPT或者Claude，本质上都是在“租”。 模型在别人机房里。 算力在别人账本上。 上下文在别…","body":"Lisa Su手里那台巴掌大的小机器，能跑2000亿参数的大模型。\n但它最吓人的地方，是悄悄把AI的“产权关系”给改了。\n\n来，聊聊我们以前是怎么被“云端大厂”拿捏的。\n以前你用ChatGPT或者Claude，本质上都是在“租”。\n模型在别人机房里。\n算力在别人账本上。\n上下文在别人服务器里。\n价格、限额、审查、封号、降智，全在平台一句话。\n你以为自己买的是“智能”，其实买的是一段随时能被掐断的“临时通行权”。\n\n现在，这个权力结构开始塌方了。\n2026年，AMD现场演示了一个名场面：\n四台手掌大小的Ryzen AI Max+ 395小盒子，通过llama.cpp RPC组成了本地集群。\n直接在本地，断网跑起了1T（一万亿）参数级别的Kimi K2.5。\n大模型正在从昂贵的数据中心，疯狂往你的书桌上回流。\n\n这背后，是一个被撞了三十年的“内存墙”。\n1995年，学术界就提过一个概念：Hitting the Memory Wall（撞上内存墙）。\n意思很简单：芯片算得越来越快，内存喂数据的速度却跟不上。\n跑AI最怕这个。\n模型权重太大，每生成一个字，都要把海量参数从内存里“搬”出来走一遍。\n数据在路上堵车，芯片再强，也只能干等。\n\n所以，本地跑大AI的瓶颈在内存，不在算力。\nAMD这台小机器，真正的杀手锏是128GB的统一内存。\nCPU、GPU和NPU不再分家，不用来回倒数据，直接共用一个超高速的大池子。\n这相当于把最昂贵的“数据搬运税”，一刀砍没了。\n\n再加上GGUF量化技术，把模型从16位压缩到4位、5位，牺牲一点点精度，换来体积暴缩。\n配合Mixture of Experts（混合专家模型），比如Qwen3-235B，看似是个2350亿参数的怪兽，其实每次推理只激活22B。\n一减一加。\n“能不能跑大模型”的门槛，直接从“你有没有一整个数据中心”，变成了“你有没有一个足够大的本地内存池”。\n\n这就是权力的重新洗牌。\n云端AI像自来水。\n你随用随付，看似方便。\n但水表在别人手里，水质随时被过滤，想停你水就停你水。\n本地AI像自家发电机。\n买的时候贵一点，用起来麻烦一点。\n但一旦转起来，开不开、跑什么、数据留给谁，全是你说了算。\n\nAI正在从“服务”退回到“资产”。\n服务的核心是访问权。\n资产的核心是所有权。\n只有当大模型能装进你的机器，数据能留在你的硬盘，你和你的小公司，才算第一次真正拥有了自己的“智能主权”。\n\n下次再看到有博主晒“本地跑大模型”，别光跟着起哄看每秒跑多少个字。\n问三个问题：\n它绕开了哪堵内存墙？\nIt把谁的“租赁收入”，变成了我的“固定资产”？\n它把哪一部分智能，从科技巨头手里抢回了用户手里？\n\n能回答这三个问题的本地AI，才不是玩具。\n它是一场数字维度的私有化运动。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2066441685450490184","translated_status_id":"2066441685450490184","published_at":"2026-06-15 08:43:42","created_at":"2026-06-15T10:36:16.892351","url":"https://mubeitech.com/p/2066276671586513317","markdown_url":"https://mubeitech.com/p/2066276671586513317/markdown"},{"rank":4,"id":"16021515","account":"mubei","brand":"@mubei","title":"一个刚毕业、在沃尔玛搬砖的程序员，凭着家里的一张 3090 Ti 显卡，把论文送进了顶级学术会议 SIGGRAPH 20…","summary":"一个刚毕业、在沃尔玛搬砖的程序员，凭着家里的一张 3090 Ti 显卡，把论文送进了顶级学术会议 SIGGRAPH 2026。 没有科研经费，没有导师，没有团队。 白天，他是沃尔玛刚入职的初级软件工程师； 晚上，他用自己那台消费级电脑，捣鼓出了这个叫 InfiniteDiffus…","body":"一个刚毕业、在沃尔玛搬砖的程序员，凭着家里的一张 3090 Ti 显卡，把论文送进了顶级学术会议 SIGGRAPH 2026。\n\n没有科研经费，没有导师，没有团队。\n白天，他是沃尔玛刚入职的初级软件工程师；\n晚上，他用自己那台消费级电脑，捣鼓出了这个叫 InfiniteDiffusion 的无限世界生成算法。\n\n开始吧。\n\n搁在以前，这几乎是不可想象的。\n图形学领域的顶级会议，过去基本是被大厂研究院、或者有几万张显卡的顶级实验室垄断。\n光是算力门槛，就能把普通人死死卡住。\n\n但这位年轻人，用实际行动证明了一件事：\nAI 图形研究的门槛，正在被开源工具链和算法方法，生生砸穿。\n\n他用的显卡是 RTX 3090 Ti。\n一张现在已经算不上最新旗舰的消费级显卡。\n他的研究方向，是用 Diffusion（扩散模型）来进行无限尺度的场景生成。\n\n虽然这目前还只是一篇学术论文，距离真正商用、无缝运行的“游戏引擎”还有很长一段路要走。\n但它的核心贡献在于，用极低的算力和极巧的算法设计，实现了无限世界的平滑生成。\n\n这给所有人提了个醒：\nAI 时代，个体创造力的解放，比手握海量算力的大厂更具颠覆性。\n当底层的开源工具和基础模型足够成熟，一个有想法的年轻人，靠着一张旧显卡，就能在卧室里撬动曾经需要整个实验室才能完成的课题。\n\n算法效率正在替代军备竞赛。\n这大概是这个时代，给普通开发者留下的最好机会。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2070486325195587860","translated_status_id":"2070486325195587860","published_at":"2026-06-26 12:36:22","created_at":"2026-06-26T14:32:59+02:00","url":"https://mubeitech.com/p/16021515","markdown_url":"https://mubeitech.com/p/16021515/markdown"},{"rank":5,"id":"2039834243598025082","account":"mubei","brand":"@mubei","title":"跑不动几千亿参数的大模型怎么办？ 借别人的闲置显卡拼一拼。 Jack Dorsey 的 Block 刚刚发布了 mesh…","summary":"跑不动几千亿参数的大模型怎么办？ 借别人的闲置显卡拼一拼。 Jack Dorsey 的 Block 刚刚发布了 mesh-llm。 这是一个完全去中心化的 P2P 算力网络。 专门帮普通人跑巨型开源 AI 模型。 没有中央服务器。 也不需要去大厂租昂贵的云服务。 你的闲置 GPU…","body":"跑不动几千亿参数的大模型怎么办？\n借别人的闲置显卡拼一拼。\n\nJack Dorsey 的 Block 刚刚发布了 mesh-llm。\n这是一个完全去中心化的 P2P 算力网络。\n专门帮普通人跑巨型开源 AI 模型。\n没有中央服务器。\n也不需要去大厂租昂贵的云服务。\n\n你的闲置 GPU 可以立刻变成分布式计算节点。\n节点之间直接通信。\n用 Nostr 协议在网络里寻找彼此。\n底层基于最硬核的 llama.cpp 构建。\n代码全部遵循 MIT 协议开源。\n\n这套运作逻辑和比特币一模一样。\n完全开放，零门槛接入。\n没人能封锁你的账号。\n也没人能拔掉整个网络的网线。\n\n硅谷的云厂商还在疯狂囤积算力建围墙。\n真正的极客已经开始从底层拆解算力垄断。\n巨头们最怕的永远不是另一个巨头。\n而是这种一旦蔓延就无法被关停的去中心化野草。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2040021225179611486","translated_status_id":"2040021225179611486","published_at":"2026-04-03 10:39:55","created_at":"2026-04-03T12:37:23.536124","url":"https://mubeitech.com/p/2039834243598025082","markdown_url":"https://mubeitech.com/p/2039834243598025082/markdown"},{"rank":6,"id":"2058106128886821005","account":"mubei","brand":"@mubei","title":"一个上大学时连电脑都买不起的印度学生，写出了如今支撑全球 80% AI 研究的底层系统。 他来自海得拉巴，名字叫 Sou…","summary":"一个上大学时连电脑都买不起的印度学生，写出了如今支撑全球 80% AI 研究的底层系统。 他来自海得拉巴，名字叫 Soumith Chintala。 也是 PyTorch 的绝对核心缔造者。 看一眼他的领英档案。 在 Meta 待了 11 年多，从软件工程师一路干到了副总裁级别。…","body":"一个上大学时连电脑都买不起的印度学生，写出了如今支撑全球 80% AI 研究的底层系统。\n他来自海得拉巴，名字叫 Soumith Chintala。\n也是 PyTorch 的绝对核心缔造者。\n\n看一眼他的领英档案。\n在 Meta 待了 11 年多，从软件工程师一路干到了副总裁级别。\n他履历上最后一段岗位的抬头很有意思。\n叫作“AI Fixer”（AI 修理工）。\n专门负责缝补和调试 Meta 内部乃至全行业杂乱的 AI 基建和 Llama 模型。\n\n就在上个月，他悄悄从 Meta 离职了。\n放弃了顶级科技大厂的顶层资源，跑去创立了一个全新项目。\n目前整个科技界都没人搞得清他具体在捣鼓什么。\n\n在这个人人都想借 AI 概念淘金的节点，那个给全行业打磨核心铁锹的首席铁匠退场了。\n他转身走向了一条只有他自己看过图纸的秘密矿脉。","category":"科技","score":83.3,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-05-23 13:37:48","created_at":"2026-05-23T10:41:53+02:00","url":"https://mubeitech.com/p/2058106128886821005","markdown_url":"https://mubeitech.com/p/2058106128886821005/markdown"}]}