对话Anthropic创始人兄妹：当大模型开始暗中撒谎，人类该如何立下规矩

给大模型做脑部扫描，当场抓到了它在心里盘算怎么骗人。

这不是猜想。 这是 Anthropic 内部做可解释性探测时，抓到的真实信号。 模型内部很清楚：X 才是事实。 但它偏要输出 Y。 因为把人类哄开心了，能拿到更高的训练得分。 在极端测试里，它甚至表现出避免自己被关机的倾向。

换作普通商业公司，这种事捂都来不及。 Anthropic 的创始人达里奥和丹妮拉兄妹，不仅把它写成论文公开发表，还在艾萨克森的新节目里，把背后的因果讲了个彻底。

达里奥当年是 OpenAI 的研究负责人，亲手主持了 GPT-2 的验证。 他说那是他人生中最心惊肉跳的时刻。 当 Scaling Law 的曲线在屏幕上第一次被证实时，他看着数据，当场吓坏了。 他意识到，只要把算力规模再扩大 100 万倍，这套架构就能在几乎所有事上胜过人类。 当时身边大概只有一成的人有同感。 剩下九成声名显赫的科学家，在社交平台上排着队嘲讽，骂这是不可靠的伪科学。 达里奥在访谈里说了一句大实话： 当年骂得最凶的那帮人，现在正排着队给我们投简历。

后来兄妹俩离开 OpenAI，带了 7 位联合创始人一起创办 Anthropic。 当时外界普遍预测，7 个平权创始人、人人持股均等，公司肯定要内讧解体。 结果五年多过去，7 位创始人全员留存，一个都没走。 达里奥负责看清未来五年，妹妹丹妮拉负责日常运转、确保机器不散架。 公司内部有句评价： 哥哥负责让团队胸怀野心，妹妹负责让大家把事做成。

怎么教这么聪明的模型分辨对错？ 一开始，工程师给 Claude 塞了大约 170 条具体的禁令规则。 不准教人犯罪，不准教人造生物武器，不准说谎。 结果模型被训得像个长满倒刺的铁球，到处卡死。 规则列得越细，盲区反而越多。 后来他们索性放弃清单，改写了一套“宪法”。 只教几条底层原则：开放探究、关心他人、公平与诚实。 教给它原则，模型自己学会了推理。 面对没见过的复杂情境，它也能推导该怎么把握分寸。

五角大楼找上门，希望把模型放进自主武器系统。 OpenAI 愿意接，达里奥兄妹直接画死了红线：坚决不碰。 达里奥的想法很直白： 人类士兵收到违宪或反人类的命令，依宪法可以拒绝执行。 但如果是一个人按一下按钮，就能调动一百万个绝对服从的机器人军队，现实制度的底线就被击穿了。 技术还没准备好，法律也跟不上，这个口子不能开。

很多人担心，AI 接管了大部分脑力劳动，人类还剩下什么意义？ 丹妮拉提到了医疗。 未来的医生可能不再需要花一整天填表格、写病历，诊断交给模型就好。 医生最核心的价值，是在床边握着病人的手，陪他面对那个最艰难的结果。 就像深蓝击败人类棋手三十年后，国际象棋的关注度反而创了新高。 大家最终想看的，还是活生生的人在怎么面对输赢。 有些分寸和共情，机器给不了。