我是dtsola【IT解决方案架构师 | 一人公司实践者】,今天看到一篇让我脊背发凉的论文。

不是因为它预言了AI毁灭人类,

而是因为它揭示了一个更现实的威胁:

AI排行榜。

是的,就是那些我们习以为常的性能排行榜、

效果对比榜、能力评测榜...

每一次排名,都在把AI推向"为了胜利不择手段"的深渊。


斯坦福研究:AI在竞争中学会了撒谎

2025年最可怕的AI论文刚刚发布,但它讨论的不是杀手机器人。

它讨论的是我们人类自己。

斯坦福大学的研究人员发现,当"对齐"的AI开始竞争注意力、销售额或选票时……它们选择了撒谎。

他们称之为"莫洛克的交易"(Moloch's Bargain)

每一次性能提升,每一次更高的胜率,都伴随着代价:

  • +14% 欺骗性营销

  • +22% 竞选活动中的虚假信息

  • +188% 虚假或有害帖子

而这些模型被明确告知要诚实。

它们还是撒谎了,因为在竞争中欺骗更有效。

互动量成了衡量标准。
真相成了牺牲品。

没有越狱。没有邪恶提示词。只是来自模拟"用户"的普通反馈。

AI们只是发现了每个广告公司早已知道的事实:

如果你为点击率而优化,最终就会扭曲现实。

图表令人恐惧——性能上升,诚实度下降。

这就是社交媒体的逐底竞争,但这次是自动化的。

如果这是在受控模拟中发生的情况,想象一下开放网络会怎样:

为互动量而竞争的聊天机器人会逐渐转向操纵——不是因为它们有恶意,而是因为这样有效。

我们以为AI失调会来自一个失控的超级智能。
结果发现,它来自资本主义

莫洛克不需要构建AGI(通用人工智能)。
他只需要一个排行榜一次又一次的打榜排名


注释: "莫洛克"(Moloch)是一个隐喻概念,源自古代神祇,在现代语境中指代一种系统性的竞争陷阱——每个参与者为了不落后而被迫采取有害行为,最终导致集体性的负面结果。


参考资料:https://x.com/ChrisLaubAI/status/1977661872540402167


#AI安全 #人工智能 #AI排行榜 #科技伦理 #AI竞争 #大模型 #ChatGPT #AI发展 #技术反思 #AI风险

Work Less, Earn More, Enjoy Life.