其它·via @mubei
本地运行AI的门槛,可能已经不是显卡了。 14 MB。 这是微型模型 Cactus Needle 2 的体积。 一共45…
本地运行AI的门槛,可能已经不是显卡了。
14 MB。 这是微型模型 Cactus Needle 2 的体积。 一共4500万个参数。
想跑动它,需要什么配置? 大约 28 MB 的运行内存。 不需要显卡,不需要网络,甚至都不需要一台正经电脑。
别误会,它不是用来替代大模型帮你写文章的。 它的定位很明确:一个边缘设备上的微型智能体。 主要干一件事:在本地调用工具,控制设备。
把AI塞进各种微小硬件里,以前总得算计算力和内存。 现在,没借口了。