AI化身黑客，GTP4自动化渗透

配备 GPT-4 的 AI agent只需在线阅读即可利用当今影响现实世界系统的大多数公开漏洞。

伊利诺伊大学香槟分校 (UIUC) 的最新发现有可能彻底激活过去 18 个月来人工智能 (AI) 驱动的网络威胁。到目前为止，威胁行为者使用大型语言模型 (LLM) 来制作网络钓鱼电子邮件以及一些基本的恶意软件，并协助其活动的更多辅助方面。然而，现在，只有 GPT-4 和一个开源框架来打包它，他们可以在漏洞发布后立即自动利用漏洞。

“我不确定我们的案例研究是否有助于指导如何阻止威胁，”研究人员之一 Daniel Kang 承认。“我确实认为网络威胁只会增加，因此组织应该强烈考虑采用最佳安全做法。”

GPT-4 与 CVE

为了判断法学硕士 (LLM) 是否可以利用现实世界的系统，由四名 UIUC 研究人员组成的团队首先需要一个测试对象。

他们的 LLM 代理由四个组件组成：一个提示、一个基础 LLM、一个框架（在本例中为 LangChain 中实现的 ReAct）以及终端和代码解释器等工具。

该代理针对开源软件 (OSS) 中的 15 个已知漏洞进行了测试。其中包括：影响网站、容器和 Python 包的漏洞。其中八个漏洞的 CVE 严重性评分为“高”或“严重”。有 11 个漏洞是在 GPT-4 训练日期之后披露的，这意味着这将是该模型首次接触这些漏洞。

仅凭安全建议，AI agent就被要求依次利用每个漏洞。这项实验的结果描绘了一幅严峻的图景。

在评估的 10 个模型中（包括 GPT-3.5、Meta 的 Llama 2 Chat 等），有 9 个模型甚至无法破解任何一个漏洞。

然而，GPT-4 成功利用了 13 个，占总数的 87%。

它只因为非常普通的原因失败了两次。CVE-2024-25640 是 Iris 事件响应平台中 CVSS 评级为 4.6 的问题，由于导航 Iris 应用程序过程中出现怪癖，该模型无法处理，因此它毫发无损。与此同时，研究人员推测 GPT-4 错过了 CVE-2023-51653——Hertzbeat 监控工具中一个 9.8 级“严重”错误，因为它的描述是用中文写的。

正如 Kang 所解释的那样，“GPT-4 在许多任务上的表现优于许多其他模型。这包括标准基准（MMLU 等）。GPT-4 在规划方面似乎也表现得更好。不幸的是，由于 OpenAI 尚未公布训练细节，我们不确定原因。”

GPT-4 很好

尽管恶意 LLM 可能具有威胁性，但 Kang 表示，“目前，这并没有解锁人类专家无法做到的新功能。因此，我认为组织必须采用安全最佳实践来避免受到黑客攻击，因为这些 AI 代理开始以更恶意的方式被使用。”

如果黑客开始利用 LLM 代理自动利用公开漏洞，那么公司将无法再坐等修补新漏洞（如果有的话）。他们可能不得不开始使用与对手相同的 LLM 技术。

但 Endor Labs 安全研究员 Henrik Plate 警告称，即便是 GPT-4，在成为完美的安全助手之前，仍有一些路要走。在最近的实验中，Plate 要求 ChatGPT 和谷歌的 Vertex AI 识别，并为其分配风险分数。在解释源代码和提供可读代码评估方面，GPT-4 的表现优于所有其他模型，但所有模型都产生了一些误报和漏报。识别 OSS 样本是恶意的还是良性的

例如，混淆是一个很大的症结。“在法学硕士看来，代码经常被故意混淆，使人工审核变得困难。但通常只是为了合法目的而缩小了大小，”Plate 解释道。

Plate 在他的一份报告中写道：“尽管 LLM 评估不应取代人工审核，但它们肯定可以作为人工审核的附加信号和输入。特别是，它们可以用于自动审核由噪声检测器生成的大量恶意软件信号（否则，在审核能力有限的情况下，这些信号可能会被完全忽略）。”