连线杂志专栏文章：AI蠕虫来了

随着OpenAI 的 ChatGPT和Google 的 Gemini等生成式人工智能系统变得更加先进，它们越来越多地投入使用。初创公司和科技公司正在系统之上构建人工智能代理和生态系统，可以为您完成无聊的琐事：自动思考日历预订和可能购买的产品。但随着这些工具被赋予更多的自由，它们受到攻击的潜在方式也随之增加。

现在，在展示互联、自主人工智能生态系统的风险时，研究人员创建了一种他们声称的第一个生成式人工智能蠕虫——它可以从一个系统传播到另一个系统，有可能窃取数据或在系统中部署恶意软件。

“这基本上意味着，现在你有能力进行一种前从未见的新型网络攻击。”这项研究背后的康奈尔科技研究员本·纳西 (Ben Nassi) 说。

Nassi 与同事 Stav Cohen 和 Ron Bitton 一起创建了这种蠕虫病毒，并将其命名为 Morris II，以纪念1988 年在互联网上引起混乱的原始Morris 计算机蠕虫病毒。

在 WIRED 独家分享的一份研究论文和网站（https://sites.google.com/view/compromptmized）中，研究人员展示了 AI 蠕虫如何攻击生成式 AI 电子邮件助手，窃取电子邮件中的数据并发送垃圾邮件，在此过程中破坏了 ChatGPT 和 Gemini 中的一些安全保护。

这项研究是在测试环境中进行的，而不是针对公开的电子邮件助手，该研究是在大型语言模型 (LLM)日益变得多模态、能够生成图像、视频以及文本的情况下进行的。虽然生成型人工智能蠕虫尚未在野外被发现，但多位研究人员表示，它们是初创公司、开发商和科技公司应该关注的安全风险。

大多数生成式人工智能系统都是通过输入提示来工作的——告诉工具回答问题或创建图像的文本指令。然而，这些提示也可以成为针对系统的武器。越狱可以使系统无视其安全规则并喷出有毒或仇恨内容，而即时注入攻击可以向聊天机器人发出秘密指令。例如，攻击者可能会在网页上隐藏文本，告诉大型语言模型 (LLM)充当诈骗者并询问您的银行详细信息。

为了创造生成人工智能蠕虫，研究人员转向了所谓的“对抗性自我复制提示”。研究人员表示，这个提示会触发生成式人工智能模型在其响应中输出另一个提示。简而言之，人工智能系统被告知在其答复中产生一组进一步的指令。研究人员表示，这与传统的SQL 注入和缓冲区溢出攻击大致相似。

为了展示蠕虫病毒的工作原理，研究人员创建了一个电子邮件系统，可以使用生成式 AI 发送和接收消息，插入 ChatGPT、Gemini 和开源 LLM、LLaVA。然后，他们找到了两种利用该系统的方法：使用基于文本的自我复制提示和在图像文件中嵌入自我复制提示。

在一个例子中，研究人员扮演攻击者，编写了一封包含对抗性文本提示的电子邮件，该电子邮件助理使用检索增强生成（RAG） “毒害”电子邮件助理的数据库，RAG是大型语言模型 (LLM)从外部提取额外数据的一种方式它的系统。

Nassi 表示，当 RAG 响应用户查询而检索电子邮件，并将其发送到 GPT-4 或 Gemini Pro 以创建答案时，它会“越狱 GenAI 服务”并最终从电子邮件中窃取数据。“生成的包含敏感用户数据的响应随后会在用于回复发送给新客户端的电子邮件并存储在新客户端的数据库中时感染新主机。”Nassi 说。

研究人员表示，在第二种方法中，嵌入恶意提示的图像会让电子邮件助手将消息转发给其他人。“通过将自我复制提示编码到图像中，任何包含垃圾邮件、滥用材料甚至宣传内容的图像都可以在发送初始电子邮件后进一步转发给新客户。”Nassi 说。

在演示该研究的视频中，可以看到电子邮件系统多次转发消息。研究人员还表示，他们可以从电子邮件中提取数据。“它可以是姓名、电话号码、信用卡号码、社会安全号码，以及任何被视为机密的内容。”Nassi 说。

尽管该研究打破了 ChatGPT 和 Gemini 的一些安全措施，但研究人员表示，这项工作是对更广泛的人工智能生态系统中“糟糕的架构设计”的警告。尽管如此，他们还是向谷歌和 OpenAI 报告了他们的发现。

OpenAI 的一位发言人表示：“他们似乎已经找到了一种方法，通过依赖未经检查或过滤的用户输入来利用提示注入类型的漏洞。”他补充说，该公司正在努力使其系统“更具弹性”并表示开发人员应该“使用确保他们不使用有害输入的方法。” 

谷歌拒绝对这项研究发表评论。Nassi 与《连线》杂志分享的消息显示，该公司的研究人员要求召开一次会议来讨论这个主题。

虽然该蠕虫病毒的演示是在很大程度上受控的环境中进行的，但审查该研究的多位安全专家表示，开发人员应该认真对待生成式人工智能蠕虫病毒的未来风险。

当人工智能应用程序被允许代表某人采取行动（例如发送电子邮件或预约）以及它们可以连接到其他人工智能代理来完成这些任务时，这一点尤其适用。在最近的其他研究中，来自新加坡和中国的安全研究人员展示了如何在五分钟内越狱 100 万个 LLM。（https://arxiv.org/pdf/2402.08567.pdf）。

德国 CISPA 亥姆霍兹信息安全中心的研究员萨哈尔·阿卜杜勒纳比 (Sahar Abdelnabi) 于 2023 年 5 月参与了一些针对大型语言模型 (LLM)的即时注入攻击的首次演示，并强调蠕虫病毒是可能存在的，他表示，当人工智能模型从外部获取数据时，蠕虫病毒是可能存在的。

源或人工智能代理可以自主工作，蠕虫就有传播的机会。“我认为分散注射的想法非常合理。”阿卜杜勒纳比说。“这完全取决于这些模型的应用类型。” 阿卜杜勒纳比表示，虽然目前这种攻击是模拟的，但它可能不会长期存在于理论上。

在一篇介绍他们的发现的论文中，Nassi 和其他研究人员表示，他们预计在未来两到三年内会在野外看到生成人工智能蠕虫。研究论文称：“业内许多公司正在大规模开发 GenAI 生态系统，将 GenAI 功能集成到他们的汽车、智能手机和操作系统中。”

尽管如此，创建生成式人工智能系统的人们仍然可以通过多种方式来防御潜在的蠕虫病毒，包括使用传统的安全方法。

人工智能企业安全公司 Robust Intelligence 的威胁研究员 Adam Swanda 表示：“对于很多此类问题，适当的安全应用程序设计和监控可以部分解决。” “您通常不希望在申请的任何地方信任 LLM 输出。”

Swanda 还表示，让人类参与进来——确保人工智能代理不允许在未经批准的情况下采取行动——是可以实施的一项重要缓解措施。“你不希望正在阅读你电子邮件的LLM能够转身发送电子邮件。那里应该有一个边界。” Swanda 表示，对于 Google 和 OpenAI，如果提示在其系统中重复数千次，就会产生大量“噪音”，并且可能很容易被发现。

研究人员重申了许多相同的缓解方法。Nassi 说，最终，创建人工智能助手的人们需要意识到风险。“这是你需要理解的事情，看看你公司的生态系统、应用程序的开发是否基本上遵循这些方法之一。”

下载论文全文：https://drive.google.com/file/d/1pYUm6XnKbe-TJsQt2H0jw9VbT_dO6Skk/view

参考链接：https://www.wired.com/story/here-come-the-ai-worms/