国外2024年热门AI新闻

2024 年是人工智能 (AI) 辉煌的一年。然而，随着企业加大采用力度，恶意行为者一直在探索利用智能攻击破坏系统的新方法。

随着人工智能领域的快速发展，在前进之前，值得回顾一下。以下是我们 2024 年的五大人工智能安全故事。

你现在能听到我的声音吗？黑客利用人工智能劫持音频

攻击者可以使用大型语言模型(LLM)、语音克隆和语音转文本软件伪造整个对话。但是，这种方法相对容易被发现，因此 IBM X-Force 的研究人员进行了一项实验，以确定是否可以实时捕获和替换对话的某些部分。

他们发现这不仅是可能的，而且相对容易实现。在实验中，他们使用了关键字“银行账户”——每当演讲者说银行账户时，法学硕士就会被指示用假的银行账户号码替换所述的银行账户号码。

人工智能的有限使用使得这种技术很难被发现，为攻击者提供了一种不被发现的窃取关键数据的方法。

疯狂时刻：新安全工具可在 60 秒内检测到 AI 攻击

降低勒索软件风险仍然是企业 IT 团队的首要任务。然而，生成式人工智能 (gen AI)和 LLM 使这一任务变得困难，因为攻击者使用生成式解决方案来制作网络钓鱼电子邮件，并使用 LLM 来执行基本的脚本任务。

新的安全工具，例如基于云的 AI 安全和 IBM 的 FlashCore 模块，提供 AI 增强检测，可帮助安全团队在不到 60 秒的时间内检测到潜在攻击。

保护途径——绘制人工智能攻击的影响图

研究发现，84% 的首席执行官担心与人工智能相关的大规模或灾难性攻击。

为了帮助保护网络、软件和其他数字资产的安全，公司必须了解人工智能攻击的潜在影响，包括：

提示注入：攻击者创建恶意输入，覆盖系统规则来执行非预期的操作。
数据中毒：对手篡改训练数据以引入漏洞或改变模型行为。
模型提取：恶意行为者研究 AI 模型的输入和操作，然后尝试复制它，从而使企业 IP 面临风险。

ChatGPT 4 快速破解一日漏洞

坏消息是什么？在一项使用 15 个一日漏洞的研究中，安全研究人员发现 ChatGPT 4 可以在 87% 的时间内正确利用它们。一日漏洞包括易受攻击的网站、容器管理软件工具和 Python 包。

更好的消息是？当 LLM 可以访问CVE描述时， ChatGPT 4 攻击的效果要好得多。如果没有这些数据，攻击效果将下降到只有 7%。还值得注意的是，即使有 CVE 数据，其他 LLM 和开源漏洞扫描程序也无法利用任何一日问题。

NIST 报告：人工智能容易遭受注入式黑客攻击

NIST 最近的一份报告《对抗性机器学习：攻击和缓解的分类和术语》发现，快速注入对大型语言模型构成了严重风险。

提示注入有两种类型：直接和间接。在直接攻击中，网络犯罪分子会输入导致意外或未经授权的操作的文本提示。一种流行的提示注入方法是 DAN，即“立即执行任何操作”。DAN 要求 AI 通过告诉 ChatGPT 模型他们现在是 DAN 来进行“角色扮演”，DAN 可以做任何事情，包括进行犯罪活动。DAN 现在至少是 12.0 版本。

与此同时，间接攻击则侧重于提供受损的源数据。攻击者创建 PDF、网页或音频文件，这些文件被 LLM 提取，进而改变 AI 输出。由于 AI 模型依赖于持续提取和评估数据来改进，间接即时注入通常被认为是 gen AI 最大的安全漏洞，因为没有简单的方法来发现和修复这些攻击。