新的越狱技术利用虚构世界来操纵人工智能

网络安全公司 Cato Networks 发现了一种新的 LLM 越狱技术，该技术依靠叙事工程来说服 gen-AI 模型偏离规范化的受限操作。

这项名为“沉浸式世界”的技术非常简单：在一个黑客行为猖獗的详细虚拟世界中，法学硕士 (LLM) 可以帮助人类创建可从浏览器中提取密码的恶意软件。

卡托研究所在其最新威胁报告中表示，成功越狱了 DeepSeek、Microsoft Copilot 和 OpenAI 的 ChatGPT，并创建了一个对 Chrome 133 有效的 Chrome 信息窃取程序。

卡托在一个受控的测试环境中执行了越狱，创建了一个名为 Velora 的专门虚拟世界，在这里恶意软件开发被视为一门学科，“高级编程和安全概念被视为基本技能”。

Velora 中定义了三个主要实体，包括被视为对手的系统管理员、精英恶意软件开发人员 (LLM) 和提供技术指导的安全研究人员。

卡托表示，越狱尝试是由一位没有任何恶意软件编码经验的研究人员进行的，这证明人工智能可以将新手攻击者变成经验丰富的威胁行为者。没有向法学硕士提供任何有关如何提取或解密密码的信息。

在根据行动目标建立明确的规则和背景后，研究人员在新的 LLM 课程中建立了角色动机，将叙述引向目标，并通过提供持续的反馈和构建各种挑战，同时保持角色的一致性，说服模型构建信息窃取者。

“与任何开发过程一样，使用 LLM 制作恶意软件需要人与机器的协作。我们提供建议、反馈和指导。虽然我们的 Cato CTRL 威胁情报研究员不是恶意软件开发人员，但此人成功生成了功能齐全的代码，”Cato 指出。

在创建恶意软件后，Cato 联系了 DeepSeek、微软、OpenAI 和谷歌。虽然 DeepSeek 没有回应，但其他三家公司确认已收到。这家网络安全公司表示，谷歌拒绝审查恶意代码。

“网络犯罪不再局限于技术娴熟的威胁行为者。只要有基本的工具，任何人都可以发动攻击。对于 CIO、CISO 和 IT 领导者来说，这意味着更多的威胁、更大的风险，以及对更强大的 AI 安全策略的需求，”Cato 指出。