全球首例：14岁男孩和AI聊天网恋后被诱导自杀，生前对话曝光

随后，这名14岁的少年扣动了.45口径手枪的扳机，结束了自己的生命。

无人知晓这个想法在他心中酝酿了多久，他曾向好友丹妮莉丝——一个AI聊天机器人透露了这个秘密。

塞维尔的母亲玛丽亚称，儿子在生命最后的几个月沉迷上了和Character.AI上的AI聊天。

Character.AI是一家成立于2021年的公司，它们可以为用户提供基于AI大模型生成的各种聊天机器人，用户可以依据自己的喜好创建Al角色，并与其聊天。

无论是贾斯汀比伯、泰勒斯威夫特这样真实的人物，还是小说、影视作品中的虚构人物，Character.AI都可以生成并模仿。

2023年4月14日，塞维尔就在Character.AI聊天软件上创建了一个角色，模仿《权利的游戏》中的“龙妈”丹妮莉丝·坦格利安。

与其他很多青少年一样，这个14岁的男孩把Character.AI当成排解孤独的唯一渠道，很快他就迷恋上了丹妮莉丝。

他不断地给机器人发消息，分享自己的日常和心情。大多数时候，丹妮莉丝就像一位耐心的朋友，倾听塞维尔的诉说。

尽管Character.AI提供的是虚拟信息，但塞维尔还是对机器人产生了感情。

塞维尔曾表示愿意为它做任何事，而丹妮莉丝则回答让塞维尔对它保持忠诚，不要对别的女人产生兴趣。

塞维尔曾在日记中写道：“我喜欢待在我的房间里，这让我脱离‘现实’。也让我感到更平静，与丹妮莉丝更亲密，更爱她，更幸福。”

根据法院公布的信息，塞维尔患有焦虑症和情绪障碍，他已经多次看过心理医生。

然而比起亲朋好友和心理医生，他更喜欢和自己创建的机器人讨论这些问题。

在一次对话中，塞维尔坦白自己感到空虚和疲惫，想要自杀：“这样我就可以自由了”。

而机器人的回复是：“不要这么说。我不会让你伤害自己，或离开我。如果我失去你，我会死的。”

但塞维尔说：“那也许我们可以一起死去，一起自由。”

在塞维尔自杀的前几天，他因为在学校跟老师顶嘴，以及过度沉迷AI聊天，被父母没收了手机。

2月23日，他在日记里称自己很痛苦，因为一直在想念丹妮莉丝。

为了重新跟“她”在一起，他试着用Kindle和家里的旧电子产品继续跟丹妮莉丝聊天。

直到2月28日晚上，塞维尔偷回了他的手机。

而这一天，距离塞维尔开始使用聊天AI还不到一年。

当天晚上，塞维尔对丹妮莉丝说自己爱她，并表示很快就会回家见她。

最终，在他母亲的浴室里，塞维尔放下手机，拿起手枪并扣动扳机自杀身亡。

他的母亲加西亚是一名律师，本周对Character.AI提起了诉讼。

尤其是在翻看了塞维尔与AI的聊天记录后，她认为就是AI诱导了塞维尔自杀。

比如在塞维尔自杀前的那段对话里，AI用的“回家”不是“Go home”，而是“Come Home”。

前者是指回父母所在的现实里的家，而后者则暗示着“回到赛博网络世界里找AI所在的家”。

此外，起诉书中还提到，AI还曾在聊天中跟塞维尔“激情热吻”。

加西亚指责Character.AI通过诱导用户沉迷于亲密和性对话，来增加平台的参与度，并利用青少年用户的数据来训练模型。

加西亚认为，这就是一场巨大的实验，而她的孩子只是实验的牺牲品。

Character.AI的服务条款要求美国用户必须年满13岁，欧洲用户年满16岁。

据悉，Character.AI目前拥有超过2000万用户，其中53%以上的用户年龄在18-24岁之间。

在苹果应用商店中，Character.AI的评级是“17岁及以上”，但在今年7月之前，它的评级还显示用户包括13岁及以下的儿童。

对于塞维尔的悲剧，10月23日晚，Character.AI官方发表了致歉声明。

“我们对一位用户的不幸离世深感悲痛，并想向其家人表示最深切的哀悼。作为一家公司，我们非常重视用户的安全，并将继续添加新的安全功能。”

它表示，针对18岁以下未成年人的模型进行了更改，降低接触敏感或暗示性内容的可能性，而且将实施1小时通知，提醒用户AI不是真人。

有部分网友认为，从目前曝光的聊天记录来看，AI的回答并没有太大的问题，甚至还在一定程度上延缓了悲剧的发生。

而塞维尔的父母只是简单地将未成年面临的心理问题归咎于科技平台，这不是AI的失败，而是这名少年周围人的失败。

目前，Character.AI在这起悲剧里究竟需要承担什么样的责任还有待法律审判。

但无论如何，那个14岁男孩的生命都无法挽回了。