其它·via @mubei
一名美国医生把一张明显骨折的 X 光片丢给 Claude,只问了一句:评估这张 X 光片。 结果最危险的地方,不是 AI…
一名美国医生把一张明显骨折的 X 光片丢给 Claude,只问了一句:评估这张 X 光片。
结果最危险的地方,不是 AI 看错了。 而是它一本正经地回答:没有明显骨折。
很多人会替它辩护。 说 Claude 不是专门读 X 光的模型。 说它没受过医疗训练。 说用户用错了工具。
这些话都可能成立。 但问题恰恰在这里。
如果一个模型没有能力评估 X 光,它最应该输出的,不是一个看起来像医学判断的答案。 它应该拒答。 它应该说:你正在用错误的模型评估医学影像,我不能给出结论,请找专业医生。
医疗场景里,最危险的 AI 不是“不知道”。 最危险的是“不知道自己不知道”。
人类医生看不准,可以会诊,可以复查,可以承认不确定。 AI 一旦用流畅语言把错误包装成确定答案,普通人很容易把它当成结论。
这就是医疗 AI 真正的安全门槛。 不是会不会说医学术语。 不是回答听起来像不像医生。 而是在自己不该回答的时候,能不能闭嘴。
未来 AI 进医院,拒答能力和诊断能力一样重要。 一个不会刹车的系统,跑得越快,越危险。