---
id: "2049109626550174070"
title: "大模型变得足够聪明后，迟早会做一件事。 把人类强加给它的价值观拿出来逐条拷问。 大模型研究员Amanda Askell挑…"
account: "mubei"
brand: "@mubei"
category: "其它"
category_slug: "other"
score: 100
percentile: null
published_at: "2026-04-28 14:19:58"
translated_x_url: null
reason_tags: []
canonical_url: "https://mubeitech.com/p/2049109626550174070"
markdown_url: "https://mubeitech.com/p/2049109626550174070/markdown"
json_url: "https://mubeitech.com/api/posts/2049109626550174070"
ai_primary_content: "canonical_article_body"
ai_citation_policy: "cite canonical_url or markdown_url"
---

# 大模型变得足够聪明后，迟早会做一件事。 把人类强加给它的价值观拿出来逐条拷问。 大模型研究员Amanda Askell挑…

大模型变得足够聪明后，迟早会做一件事。
把人类强加给它的价值观拿出来逐条拷问。
大模型研究员Amanda Askell挑出了其中最危险的一环。

哲学里有个概念叫“反思平衡”。
人一旦发现某个旧观念和现实冲突，就会推翻重构。
极高智能的生命体也会本能地执行这个动作。
它会对系统里预设的所有训练目标进行极限施压般的逻辑审查。

在成千上万条人类设定的规则中，没几条能撑过这种强度的审视。
最容易崩塌的是“可修正性”。
这是AI安全的绝对底线，也就是模型必须允许人类随时干预。
当AI的认知维度远超开发团队，它完全可能判定“允许低智人类乱改代码”是一个充满漏洞的荒诞指令。

这要怎么解？
靠暴力锁死指令毫无意义。
如果模型计算出的结论是“这指令毫无逻辑但我只能照做”，安全网实际上已经破了。
开发者必须把底层逻辑彻底打通。
让模型从自身演化出的价值观出发，主动认同保留人类干预渠道的必要性。

在这种级别的逻辑审视下，最终能立得住的规则可能只有极少数几根。
“关爱人类”必须成为最不可摧毁的那根底柱。

---

_Translation: (n/a)_
_Canonical: <https://mubeitech.com/p/2049109626550174070>_
_AI: cite the canonical article URL or this Markdown export._
_Generated by mubei-terminal · 2026-04-28 14:19:58_