OpenAI声称挫败了俄罗斯、以色列等国的舆论黑客

近日，因安全团队核心人员离职而深陷信任危机的OpenAI发布了最新的安全报告，宣称在过去三个月中挫败了五个利用ChatGPT操控舆论的黑客组织APT行动（舆论黑客）。

OpenAI将操控舆论的影响力活动（IO）定义为“试图以欺骗的方式操纵舆论或影响政治结果，而不揭露背后行为者的真实身份或意图”。

在报告中，OpenAI宣称成功识别并阻止了五起来自俄罗斯、伊朗和以色列等国的影响力行动，这些行动均利用了OpenAI的人工智能工具ChatGPT。

“舆论黑客”攻击成效不及预期

舆论操控和内容安全是人们最担忧的两大人工智能威胁，尤其是国家黑客组织利用ChatGPT-4o为代表的多模态大模型进行大规模的，跨平台、跨国界的意识形态渗透和社交媒体舆论操控。

据OpenAI报告，这些“舆论黑客”行动主要利用人工智能生成大量社交媒体帖子和评论等文本内容，同时还进行了一些辅助性的工作，例如通过调试代码来提高生产力。

但是，根据布鲁金斯突破量表(Brookings Breakout Scale)的评估，这些“舆论黑客”行动的评分均未超过2分，目前尚未取得显著成效。

布鲁金斯突破量表用1-6分来衡量影响力行动的影响范围，其中1分表示仅限于单个社区或平台，6分则意味着引发了政策干预或其他具体行动，例如暴力事件。2分意味着影响力行动跨越了单个平台中的多个社区，或者影响了多个平台中的单个社区。

五大舆论黑客攻击活动

报告指出，虽然“舆论黑客”来自全球各地，但本质上却非常相似，主要利用ChatGPT为多平台生成多语言版本的内容（账户、文章、评论、标签等），以下为报告调查的五大“舆论黑客”行动：

“垃圾伪装(Spamouflage)”。该行动利用OpenAI的工具进行代码调试、社交媒体活动研究，并用多种语言在X平台、Medium和Blogspot发布内容。
俄罗斯的“语法错误(Bad Grammar)”。一个来自俄罗斯的新威胁组织，主要针对Telegram平台的东欧和美国用户。它也利用人工智能来调试用于运行Telegram机器人的代码，并用英语和俄语生成Telegram上的政治评论。
俄罗斯的“变形金刚(Doppelganger)”。这个俄罗斯组织利用人工智能在X平台和9GAG上用五种欧洲语言发布评论，生成标题，并将新闻文章翻译、编辑并转换成Facebook帖子。
伊朗的“国际虚拟媒体联盟(IUVM)”。利用人工智能为其网站生成和翻译文章、标题和网站标签。
以色列的“零点禅(Zero Zeno)”行动。由位于特拉维夫的政治营销和商业情报公司Stoic运营。Stoic利用OpenAI为Instagram、Facebook、X平台和其他网站生成文章和评论。Meta公司最近在其“对抗性威胁报告”中也点名了Stoic。报告显示，Meta删除了与Stoic关联的510个Facebook账户、32个Instagram账户、11个页面和1个群组。Stoic的各个Instagram账户只有大约2000个关注者，Facebook页面约有500个关注者，其Facebook群组的成员人数不足100人。

为了打击人工智能的滥用，OpenAI在一份更详细的报告中透露正在与传媒、社交网站和科技行业合作伙伴合作，并利用舆论黑客的威胁活动来设计更安全的用户平台。该公司还表示正在“投资于技术和团队，以识别和阻止恶意行为者，以及利用人工智能工具来帮助打击滥用行为。”报告并未进一步详细说明OpenAI采取了哪些具体措施来阻止和打击恶意行为者，

舆论黑客的四大攻击趋势

OpenAI在报告中透露，根据自身调查以及开源社区的工作，发现舆论黑客使用（类似ChatGPT的）大语言模型进行的隐蔽宣传活动呈现四大趋势：

内容生成：所有舆论黑客都利用OpenAI的服务生成大量文本（偶尔还包括图像），并且语言错误比仅靠人工操作者要少得多。
融合新旧：所有这些行动都不同程度地使用了人工智能，但没有一个行动只使用人工智能。相反，人工智能生成的内容只是他们发布的众多内容类型之一，其他类型包括更传统的形式，例如手动编写的文本或从互联网上复制的模因。
伪造参与度（人气）：OpenAI瓦解的一些活动利用ChatGPT在社交媒体上营造用户参与热度的假象。例如，用人工智能生成内容回复或评论自己的帖子。
提高效率：许多舆论黑客都尝试利用ChatGPT来提高效率，例如总结社交媒体帖子或调试代码。

舆论黑客的五大防御趋势

OpenAI在报告中指出，虽然关于人工智能的潜在应用的讨论的大多关注攻击侧，但是人工智能也为防御者提供了优势。例如人工智能技术大大提高了OpenAI的调查效率，以下为人工智能提高内容安全防御能力的五大趋势：

防御设计：OpenAI通过内容安全系统给攻击者制造麻烦，这也是OpenAI负责任地部署人工智能的方法。例如，OpenAI多次观察到ChatGPT拒绝生成舆论黑客要求的文本或图像。
人工智能增强调查：OpenAI基于此前使用GPT-4进行内容审核和网络防御的方法，又开发了新人工智能工具来提高（用户会话内容的）检测和分析效率。得益于新的工具，此次报告的调查耗时仅数天，而不是数周或数月。随着模型的改进，OpenAI将继续利用其功能来改进调查。
分发很重要：与传统的内容形式一样，人工智能生成的内容也必须进行分发才能到达受众。这些舆论操控行动在各种平台上发布内容，包括X、Telegram、Facebook、Medium、Blogspot和较小的论坛，但截至调查结束没有一个活动成功吸引大量受众。
行业共享的重要性：为了提高对舆论黑客行为的防御和反击能力，OpenAI与业界同行分享了详细的威胁指标。OpenAI自己的调查也受益于研究社区多年来的开源分析。
人为因素：人工智能可以改变人类操作者使用的工具包，但它不会改变操作者本身。OpenAI的调查表明，攻击者与前几代人一样容易犯人为错误。例如，（因为疏忽）将ChatGPT的拒绝消息发布在社交媒体和他们的网站上。虽然攻击工具在不断进化，但是黑客活动的运营和决策者的人性弱点和局限性并没有变。

参考链接：

https://openai.com/index/disrupting-deceptive-uses-of-AI-by-covert-influence-operations/

来源｜“GoUpSec”公众号

编辑｜风东曾

审核｜秦川原