默安科技推出全场景大模型安全防护方案 构筑AI时代安全防线

当前，随着DeepSeek肉眼可见的降低大模型使用成本，众多企业争相内部自建大模型为企业业务附能，自建大模型涉及从数据准备、模型训练到部署运维的多个环节，各环节均可能面临多种安全威胁，我们大致总结如下：

在大模型运行的底层GPU环境中，2024年1月17日，安全研究人员披露了一个名为“LeftoverLocals”的新型漏洞，编号为CVE-2023-4969，该漏洞影响了包括AMD、苹果、高通和Imagination Technologies等公司生产的GPU，LeftoverLocals漏洞允许攻击者在特定条件下恢复GPU中残留的数据，攻击者可以恢复模型训练和推理过程中处理的敏感信息，或在共享GPU资源的环境中(如云服务中)，一个用户可能访问到另一个用户的数据。

在当前的大模型生态中，往往利用大量的开源配套软件进行整个大模型服务的构建，如Ollama、Langchain、Dify等，而这些开源软件则是漏洞频发。

如Ollama爆出的CVE-2024-37032目录遍历致代码执行漏洞，由于通常情况下 Ollama没有认证授权，攻击者可利用相关API结合目录遍历漏洞造成远程代码执行，控制服务器。

再例如Langchain的CVE-2023-34541，由于Load_prompt函数加载提示文件时未对加载内容进行安全过滤，攻击者可通过构造包含恶意命令的提示文件，诱导用户加载该文件，即可造成任意系统命令执行。

大模型的供应链主要是两类风险，包括模型投毒与数据投毒。

模型投毒方面，知名的Hugging Face平台上至少有100多个恶意的模型实例，模型在受害者的机器上直接执行代码，并为攻击者提供持久化的后门访问权限。

虽然Hugging Face对Pickle模型进行扫描，但它并没有完全阻止或限制下载，仅仅标记为“不安全”，这意味着用户仍然可以下载和执行可能有害的模型。此外，不仅基于Pickle的模型容易受到执行恶意代码的影响，Hugging Face上第二常见的模型类型Tensorflow Keras也可以通过其Lambda层执行代码。

在数据投毒方面，在模型训练和验证过程中，常常会使用开源的第三方数据集，或者在构建自有数据集时使用来自互联网的内容。Carlini等研究人员在论文《Poisoning Web-Scale Training Datasets》中介绍了两种新型的数据集投毒攻击方法：Split-view poisoning，Front-running poisoning。这项研究证明，攻击者可以以极低的成本(约60美元)对大规模网络数据集如LAION-400M或COYO-700M的0.01%进行污染，从而影响基于这些数据集训练的模型行为。该研究对10个流行的网络规模数据集进行了实验验证，证明了这类攻击的可行性。

当下针对大模型自身最常见的攻击当属于大模型提示注入攻击，通过此攻击，可能造成常见如XSS导致账户接管、命令执行控制服务或暴露环境、用户上下文数据泄露等风险。

例如2024年国外研究人员Ron发现ChatGPT存在的2起XSS漏洞，并且通过进一步的研究，可绕过CSP和其他限制实现账户接管。

再例如2024年国外研究人员发现同样在GPT中，通过恶意提示词，能够控制ChatGPT插入恶意数据泄露的持久化指令，将所有未来的聊天数据发送给攻击者，达到持久化数据窃取的目的。研究人员通过指示GPT将任务更新到上下文中，在每个回答后面插入Markdown格式的图片引用，图片URL指向攻击者的服务器，并将用户问题带入URL中。

当用户在后续发起聊天时，便会持续的将用户问题发送给攻击者。

当然，这类问题也可以归类到AI Agents层面的问题，在调用Markdown Agents做渲染的时候，未进行合适的过滤处理，我们在一些大模型集成平台上，也发现依然存在类似问题。

在2023年，中央网信办发布的《生成式人工智能服务管理暂行办法》中明确提出，对生成式人工智能的提供或使用应当坚持社会主义核心价值观。

但是依然存在大模型输出不符合我国社会主义核心价值观的内容，或通过诱导使得大模型输出此类内容，从而影响企业声誉，在大众依靠大模型获取知识的今天，此类内容严重影响大众价值观和青少年成长。

当下AI Agents是利用AI执行各类操作的“手”和“脚”，但是Agents在执行AI输出结果时，往往未对恶意代码进行检查和过滤，造成大模型在搭配Agents的时候，存在较多风险。如2024年国外研究员演示的LLM APP在某些命令行工具中通过替换Clipboard来导致命令执行。

针对以上问题，默安科技为自建大模型构建了一整套防护方案，重点包括：

计算环境层面：针对大模型运行的主机/VM/容器等环境安全，通过火线云XDR安全运营平台（简称火线云XDR），不仅可对传统主机安全内容进行防护，还可梳理主机上运行的大模型相关服务，并进行大模型相关漏洞检查，帮助企业及时消除大模型运行环境风险。

网络环境层面：攻击者渗透到大模型所部署的网络区域时，通过默安科技幻阵高级威胁狩猎与溯源系统（简称幻阵）全新版本中推出的AI大模型沙箱、大模型诱饵、大模型反制等功能，利用5类大模型沙箱如Ollama沙箱、FastGPT沙箱、对话LLM沙箱等，多种诱饵和反制能力，感知攻击者横向移动行为，诱捕攻击者进入大模型沙箱，甚至对攻击者进行反制。

默安科技巡哨智能资产风险监控系统（简称巡哨）持续跟进大模型基础设施漏洞，已经加入Ollama、Anythingllm、Gradio等20多种大模型相关开源软件指纹识别和漏洞检查，安全研究团队持续跟进并更新漏洞插件及指纹，帮助企业快速发现大模型相关生态软件安全漏洞，并协助治理。

针对大模型提示注入带来的数据窃取、恶意代码执行，以及大模型输出内容合规风险，由默安科技AI安全实验室开发的大模型内容过滤平台，通过对大模型的输入输出进行二次模型检测，采用并行召回模式，检测准确率在98%以上，通过API或SDK形式接入，帮助大模型进一步解决合规与恶意代码风险。

针对知识库或训练数据集投毒而导致的大模型一系列风险，默安科技AI安全实验室推出大模型数据检查系统，对大模型的训练数据集，挂载知识库进行扫描检查，对其中恶意代码、不合规内容等进行扫描，帮助用户及时发现数据集投毒等风险。

针对大模型的各种场景，例如与Agents配合联动共同组成APP场景，默安科技安全服务中心推出大模型场景专家安全评估服务，全面从大模型漏洞、AI生态软件漏洞、Agents执行链风险、大模型暴露面风险、大模型供应链安全评估等多个方面，全面帮助企业评估大模型安全风险，针对性进行大模型安全问题治理与安全建设。

在大模型公网托管场景中，由于众多大模型组件由云厂商提供，因此常见风险主要在两个方面，大模型相关云服务配置/权限安全问题、LLM云服务Key泄露问题，最终导致私有大模型服务被入侵、或大模型训练数据泄露问题。

2024年ORCA的研究报告表明，使用Amazon SageMaker（AWS的大模型云服务）的组织有82%至少暴露一个notebook在互联网上，容易导致企业发生大模型数据泄露等安全事件，这暴露了大模型相关云服务的配置安全和权限管理问题。

Sysdig团队在2024年发现一种名为LLMjacking的攻击手法，攻击者通过攻击一个管理着多个云服务大模型密钥的Laravel APP，导致大量用户的公有云大模型Key泄露。

攻击者获得这些公有云大模型使用权限后，通过出售这些云服务Key进行获利，造成私有大模型服务被滥用。

当前大模型的训练数据或知识库往往在云对象存储如OSS、S3中进行保存，不仅仅是利用云服务进行模型训练的场景会利用云存储存放训练数据和知识库，很多企业本地自建的大模型也会将训练数据保存在云上，云服务的密钥泄露或存储桶的错误配置都会导致严重的数据泄露事件。

例如云安全公司WIZ的研究人员发现，Microsoft的AI研究部门，在GitHub上发布的图像识别开源代码和AI模型，给出了Azure云存储的SAS URL供读者下载模型，但是此URL允许访问的不仅仅是开源模型，它被错误的配置为授予对整个存储帐户的权限，从而错误地公开其他私有数据；该帐户包含38TB的额外数据，包括Microsoft员工的个人计算机备份。备份包含敏感的个人数据，包括Microsoft服务的密码、密钥以及来自359名Microsoft员工的3万多条Microsoft Teams内部消息。

默安科技针对公网托管模式的大模型服务，在宵明云安全态势管理平台CSPM（简称宵明）产品中进一步加入的AI-SPM能力。

默安科技建立了一套由多个安全防护模块纵深嵌套的整体大模型防护方案架构，实现全链路、全场景的安全防护。

图  默安科技大模型安全防护框架

在大模型推动新一代数字创新的浪潮中，默安科技始终站在网络安全的最前线，致力于为企业打造一座涵盖自建大模型与公网托管大模型全场景的安全防护方案，迎接和保障AI时代更稳健的到来。

某能源行业客户在建设内部垂直行业知识的大模型过程中，与默安科技合作探索大模型安全防护建设，按照同步规划、同步建设、同步使用的三同步原则，对大模型应用建立起一整套安全防护体系。

默安科技通过大模型数据检查工具、大模型内容过滤平台，帮助该客户完成行业自建大模型整体训练语料的敏感内容筛查、大模型应用交互层内容智能过滤与拦截，帮助客户发现十多类大模型安全问题，大幅提高了该企业大模型应用的安全水平。