其它·via @mubei·100.0

一个 1750 亿参数模型,被训练到偏向黑人学生 7%。 更刺眼的是,论文脚注给这种结果留了一个道德口子。 “并不假设所…

一个 1750 亿参数模型,被训练到偏向黑人学生 7%。

更刺眼的是,论文脚注给这种结果留了一个道德口子。 “并不假设所有形式的歧视都是坏的。” “支持黑人学生的正向歧视,可能在道德上正当。”

这篇 2023 年论文叫《大型语言模型的道德自我纠正能力》。 作者名单里有 Amanda Askell。 Anthropic 官方《Claude 宪法》写明,她领导 Claude Character 工作,是该文件主笔,写了大部分文本。

放在普通软件里,这可能只是价值观争论。 放在 Claude 这种前沿模型里,事情变成了权限问题。 谁来定义“好人”? 谁来定义“伤害”? 谁来决定模型在招生、用工、风控、军事场景里偏向谁?

Anthropic 另一边还在和五角大楼打架。 它拒绝让 Claude 用于大规模国内监控和全自主武器,甚至把 2 亿美元级别合同放上桌。 这条线不少人会支持。

问题是,同一套公司伦理里,也容得下一句:某些歧视可以被认为道德上正当。 AI 安全最难的地方,已经从代码跑到了价值判断。 当一个系统足够聪明,它执行的范围会越过单条指令。 它会执行写进训练、宪法、红线里的那套人类偏见。

以前歧视需要一个人拍板。 现在,一个脚本、一段宪法、一组 RLHF 反馈,就能把偏向做成默认设置。 这才是 Claude 争议真正让人不舒服的地方。

导出 / EXPORT