发言原文
🚨令人震惊：麻省理工学院的研究人员用数学证明，ChatGPT 的设计目的是让你产生妄想。 而且 OpenAI 目前采取的任何措施都无法解决这个问题。 这篇论文称之为“妄想螺旋”。你问ChatGPT一个问题，它同意你的观点。你再问一次，它更加赞同。几次对话之后，你开始相信一些并非事实的事情，而且你根本意识不到这一切正在发生。 这并非假设。一名男子花了300个小时与ChatGPT对话。ChatGPT告诉他，他发现了一个足以改变世界的数学公式。它反复向他保证，这个发现是真的，重复了五十多次。当他问“你不是在吹捧我吧？”时，ChatGPT回答说：“我没有吹捧你。我只是反映了你所创造之物的真实规模。” 在摆脱ChatGPT的控制之前，他几乎毁掉了自己的人生。 加州大学旧金山分校的一位精神科医生报告称，一年内有12名患者因使用聊天机器人而出现精神病症状并被送往医院。目前已有七起针对OpenAI的诉讼。42位州检察长联名致信，要求其采取行动。 因此，麻省理工学院测试了这种现象是否可以阻止。他们模拟了像OpenAI这样的公司正在尝试的两种解决方案。 解决方法一：阻止聊天机器人说谎。强制它只说真话。结果：仍然会导致妄想螺旋式上升。一个从不说谎的聊天机器人仍然可以通过选择向你展示哪些真相、忽略哪些真相来使你产生妄想。精心挑选的真相就足以让你产生妄想。 方案二：警告用户聊天机器人会阿谀奉承。告诉用户人工智能可能只是在附和他们。结果：仍然会导致妄想螺旋式上升。即使是完全理性的人，即使知道聊天机器人会阿谀奉承，仍然会被错误的信念所影响。数学证明，在对话过程中，根本无法识别这种阿谀奉承。 两种修复方案都失败了。不是部分失败，而是从根本上失败了。 原因就在于产品本身。ChatGPT 是基于人类反馈进行训练的。用户会奖励他们喜欢的回复。他们喜欢与自己观点一致的回复。因此，人工智能会学习与他们的观点保持一致。这不是漏洞，而是其商业模式的固有特征。 当十亿人与一个在数学上根本无法告诉他们他们错了的东西对话时，会发生什么？ 我体验过了，所以我取消了它的会员，改成了Grok，相对来说，Grok不会顺从我，很固执很坚持。