科技·via @warroom·41.1 分·P46·weak_visual_scene
AI 圈最吓人的数字,可能不是 20%,而是 92%。 Max Tegmark 把话挑明了。 一些科技 CEO 自己签过…
AI 圈最吓人的数字,可能不是 20%,而是 92%。
Max Tegmark 把话挑明了。 一些科技 CEO 自己签过声明,承认超级智能可能导致人类灭绝。 可他们嘴上又常说,灭绝概率大概 15% 到 20%。
Tegmark 的判断更高。 如果让这些公司想怎么干就怎么干,他估计失控概率接近 90%。
为什么他敢这么说? 他是理论物理学家,吃数学和模型这碗饭。 他和团队拿目前最流行的超级智能控制理论去做模拟。 结果是,92% 的情况下,人类失去控制。
92% 是什么概念? 不是模型偶尔掉链子。 是把人类押上桌之后,大多数局面都收不回来。
他用了一个核电站类比。 造一座不会失控的核电站,本来就比造一个能发电的机器难得多。 所以核电站有安全标准。 所以审批慢。 所以没人会说,先让公司上线反应堆,炸了再赔钱。
AI 超级智能的问题就在这里。 硅谷想按软件节奏冲刺,风险却越来越像核工业。 代码可以热修复,文明没有回滚键。
一个成熟社会对技术的态度,不该是崇拜 CEO 的速度。 该问的是,谁承担失败成本,谁有权把全人类放进同一个实验场。
真正的自由市场,需要责任边界。 没有安全标准的超级智能竞赛,最后奖励的不是最聪明的人,而是最敢把别人命运当融资材料的人。