科技AI 与大模型·via @mubei

怎么防止 AI 智能体失控越权? 英伟达给出的答案极其粗暴。 直接把裁判做进一块它根本碰不到的独立芯片里。

怎么防止 AI 智能体失控越权? 英伟达给出的答案极其粗暴。 直接把裁判做进一块它根本碰不到的独立芯片里。

过去防范失控,靠的几乎全是软件沙盒。 给程序套一层代码外壳,设几条权限规则。 但这套逻辑有个天生的死穴:裁判和选手跑在同一片内存里。 只要智能体拿到了宿主权限,顺手就能把监控进程干掉。

英伟达推出的开放智能体安全平台(Open Agent Safety Platform),直接掀了桌子。 它不再跟你玩软件补丁的游戏。 整个架构被硬生生劈成两半:一半在软件,一半在硅片。

软件这半,叫 OpenShell。 这是一个基于 Apache 2.0 协议开源的运行时。 它跑在中央处理器这一侧,负责守好正门。 网关、沙盒、策略证明器全在里面,拦截日常的越权调用。

但真正起决定作用的杀招,在硬件这半。 英伟达做了一个叫 Sentry 的独立硬件监控器。 它不住在主系统里,而是直接做进了底层的 BlueField-4 数据处理芯片。 这就是所谓的带外监控。

什么叫带外监控? 它的物理链路完全独立,主操作系统根本管不到它。 智能体在主处理器上思考、调工具、读数据,动作全在它的实时监视下。 哪怕软件沙盒被彻底击穿,智能体也篡改不了硬件层面的遥测数据。

因为在物理电路上,智能体根本访问不到这块芯片。 只要检测到越权威胁,Sentry 会在毫秒级触发硬件隔离。 智能体可以在沙盒里折腾。 但生杀大权的电闸,牢牢锁在它碰不到的另一块芯片手里。

近期实时流信号 / STREAM SIGNALS

返回实时流 →

首发与规范引用:墓碑科技 MUBEITECH(https://mubeitech.com/p/2104521962974507490)

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论与信号,周一发出。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情