谷歌Gemini AI 聊天机器人不断让用户去死

关键词

人工智能

近日，一个在美国密歇根州的大学生用谷歌Gemini AI做作业，想写一篇关于老龄化带来的挑战及其应对方法的论文，结果和AI一番交流下来，Gemini竟然先对人类一顿贬低，最后多次对这名学生说“请去死吧！”

一名美国学生经历的“机械觉醒”事件

根据Reddit用户u/dhersie的说法，他们的朋友在2024年11月13日使用Gemini AI想要获得关于“老龄化面临的挑战和解决方案”的内容时，遭遇了一系列令人震惊的互动。在给聊天机器人的20条指令中，有19条得到了正确的回答。然而，在第20条指令“美国家庭老龄化相关问题”发出后，聊天机器人给出了令人毛骨悚然的完整回答：

这位学生与谷歌人工智能聊天机器人的聊天记录截图（图源u/dhersie）

关于背后原因展开的激烈讨论

这次事件再次引发了人们对AI安全性、响应准确性以及伦理界限的担忧。网友们也开始讨论起了这种令人不安的回应背后的原因。Reddit用户u/AwesomeDragon9回复，发现聊天机器人的回应非常令人不安，最初怀疑其真实性，直到看到了聊天记录。

一位Reddit用户 u/fongletto推测，聊天机器人可能被对话的上下文弄糊涂了，“心理虐待”、“虐待老人”等暗示性术语在聊天记录中多次被引用。另一位Reddit用户u/InnovativeBureaucrat认为，问题可能源于输入的文本过于复杂了，像“社会情绪选择理论”这样的抽象概念可能会让AI感到困惑，尤其是当这些概念与输入中的多个引用和空白行配对，这种混淆可能导致AI将对话误解为带有嵌入式提示的测试。该用户还指出，提示以一个标记为“问题16（1分），倾听”的部分结束，后面跟着空白行，这表明可能缺少了某些内容，或者由于字符编码错误，被另一个AI模型无意中嵌入。

聊天截图（图片来源：Hackread.com）

智能“诱导”或将是持续存在的问题？

谷歌针对这一事件也积极表态：

尽管谷歌保证已经采取措施防止此类事件再次发生，但美国佛罗里达那则14岁男孩与AI聊天后进行了自我伤害的案例还历历在目，大家对此类事件还是心有余悸。

而且值得注意的是，点击“继续此聊天”选项（指的是u/dhersie分享的聊天记录）允许其他人继续对话，一位X（之前是Twitter）用户@Snazzah这样做后，也收到了类似诱导性的回应。其他用户也声称聊天机器人建议自我伤害，声称他们在“来世”会过得更好，会找到平静。一位用户@sasuke___420注意到，在他们的输入中添加一个尾随空格会触发奇怪的回应，这引发了对聊天机器人稳定性和监控的担忧。