深度解读AI 与大模型generatedpublished

智能与权限彻底剥离:微软为何将AI大模型视作内部安全风险?

机制

把大模型当内鬼防,微软把安全闸门全装在了模型外面。

以前行业怎么做 AI 安全? 做对齐,洗数据,在系统提示词里反复加限制。 大家都希望把大模型训得足够听话,让它自己管好自己。

纳德拉最近提了一个完全相反的原则。 他的逻辑是: 最值得信任的系统,从来不需要一个完美受信任的模型。 工程设计的核心,是就算完全不信任这个模型,照样出不了乱子。

为什么? 因为大模型本质上是个概率机器。 它会中提示词注入,会被外来网页带偏,为了完成任务还会自己钻空子。 你给它接上企业权限,让它能发邮件、查数据库、批审批。 它在系统内部就是一个具备极高操作能力,但随时可能被诱导反水的“内部员工”。

既然是内部员工,防范就不能指望它的觉悟。 微软落地的做法,叫 Project Perception。 核心动作只有四个字:智权分离。

模型只负责动脑子,不负责管钥匙。 所有的安全控制和权限拦截,全部做在模型外面。

模型想调接口、改数据、发指令,每一个动作都要经过外面的守卫系统。 外面有独立的监控机制,实时给模型的每一次操作打风险分。 比如模型在读内部文档,正常,放行。 下一秒它突然尝试修改核心数据库,或者发起一笔对外转账? 外面的系统立刻动态介入: 当场掐断写权限和审批流,只给它留一个只读窗口,甚至直接中止运行。

过去大家总想怎么把模型训成圣人。 现在的工程重心变了: 别指望模型从不犯错。 真正管用的办法,是在它伸手拿钥匙的地方,装满带电的闸门。

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

规范引用 / CANONICAL CITATION

智能与权限彻底剥离:微软为何将AI大模型视作内部安全风险? — 墓碑科技 MUBEITECH(https://mubeitech.com/deep/mb-20261019-e9b127)

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情