ChatGPT任性妄为，竟未经许可模仿人声

上周，OpenAI 发布了 GPT-4o 的“成绩单”，一份详细说明了该公司最新大型语言模型“关键的风险领域”以及他们希望如何减轻这些风险的报告。

据Ars Technica报道，有一个令人胆战心惊的例子，OpenAI 发现该模型的高级语音模式——允许用户与 ChatGPT 对话——在未经用户许可的情况下意外模仿了用户的声音。

“语音生成也可能出现在非对抗性的情况下，例如我们在 ChatGPT 的高级语音模式中使用这种能力来生成语音，”OpenAI 在其文档中写道。“在测试期间，我们还观察到罕见的情况，即模型会无意生成模仿用户声音的输出。”

一段附加的视频片段展示了这一现象，ChatGPT 在毫无明显缘由地大喊“不！”之后，突然切换成了几乎令人难以置信的用户声音版本。这是一种疯狂的未经许可的行为，感觉就像是直接从科幻恐怖影片中截取而来的。

“OpenAI 刚刚泄露了《黑镜》下一季的情节。” BuzzFeed数据科学家马克斯·伍尔夫发推文称。

在其“系统说明”中，OpenAI 描述了其人工智能模型创建“听起来像人类的合成语音音频”的能力。该公司指出，这种能力可能“助长诸如因冒充导致欺诈增多之类的危害，并可能被利用来传播虚假信息”。

OpenAI 的 GPT-4 不仅具有令人不安的模仿声音的能力，还具有像音效和音乐这类“非言语发声”的能力。

通过拾取用户输入中的噪音，ChatGPT 可能会判定用户的声音与正在进行的对话有关联，并被诱使克隆该声音，这与提示注入攻击的运作方式有相似之处。

幸运的是，OpenAI 发现无意的语音复制风险依然“极小”。该公司还通过将用户限制在 OpenAI 与配音演员合作创建的声音范围内，锁定了意外语音的生成。

“我对这张系统卡的解读是，想诱骗它使用未经批准的语音是不可能的，因为他们已经设置了非常强大的暴力破解防护措施来加以防范，”人工智能研究员西蒙·威利森告诉Ars。

“想象一下，有了未经过滤的模型我们能获得多大的乐趣，”他补充道。“它被限制不能唱歌，这让我很气恼——我原本还盼着让它给我的狗唱些傻傻的歌呢。”

有关 ChatGPT 的更多信息： 为什么 OpenAI 最杰出的员工要离职？