01
背景
由于生成式人工智能程序展现出接近于人类的表达与推理能力，以ChatGPT为代表的大语言模型应用持续爆发，带动了全球关注人工智能。目前已有多个商业化大模型发布，如OpenAI发布的GPT系列、Meta推出的千亿参数大模型OPT以及Google发布的对标 GPT-4 的 PaLM 2等。
国内各大企业和研究机构也陆续推出了大模型应用，比如百度公司的文心一言、复旦大学的MOSS和清华大学的ChatGLM等。
然而，伴随着大语言模型广泛应用的同时，ChatGPT和类似应用也接连暴露出安全问题。大语言模型应用带来了新的安全问题，并引发了多起安全事件。
表1 大语言模型涉及的安全事件 大 语 言 模 型 涉 及 的 安 全 事 件
据媒体报道，亚马逊公司发现ChatGPT生成的内容中有与公司机密非常相似的文本，三星公司也在引入ChatGPT不到20天内就发生三起半导体机密数据泄漏的安全事故。 2023年2月，印度有犯罪团伙利用ChatGPT来编写用于诈骗的电子邮件和短信。
2023年3月20日，一些 ChatGPT Plus用户发现其订阅的页面上出现其他人的电子邮件地址等敏感信息，经调查发现是其Redis客户端开源库的问题导致个人信息泄露。
2023年3月24日，华盛顿大学计算机科学专业学生Alex Albert宣布发现了ChatGPT-4的“越狱”漏洞，可绕过ChatGPT的安全机制。
从2023年3月31日起，意大利数据保护局以侵犯数据隐私为由，将 ChatGPT禁用了一个月之久。微软、摩根大通、亚马逊、沃尔玛等行业巨头也相继限制员工使用或者禁用ChatGPT。
研究人员发现 ChatGPT 存在严重的Web缓存欺骗漏洞，黑客可利用该漏洞窃取其他用户的 ChatGPT 帐户。
一名澳大利亚市长发现ChatGPT生成了关于他的虚假犯罪指控，于是愤而向 OpenAI 公司提起诽谤诉讼。
研究人员仅凭ChatGPT和OpenAI公司的另一款人工智能编程工具 Codex，就可以生成一封可植入反向 shell 型恶意软件的钓鱼邮件。
2023年7月28日，CMU和人工智能安全中心的研究人员发现通过生成一个神秘的prompt后缀，可以轻松击破LLM的安全护栏，生成无限制的有害内容。ChatGPT、Bard等家族均被攻陷，无一幸免。
02
OWASP Top 10 for LLM 介绍
2023年8月1日OWASP（全球开放应用软件安全项目组织）正式发布了专门针对与大型语言模型 (LLM) 应用程序十大风险1.0 版，指导如何应对LLM应用中可能存在的安全风险。
下图是OWASP梳理总结的最严重的十大LLM应用安全漏洞类型：
图1 OWASP Top 10 for LLM 列表
OWASP TOP 10 for LLM列表的项目具体说明如下：
LLM01：提示词注入（Prompt Injection）
通过精心构造的提示词来操控大语言模型，使得该模型忽略先前的指令或者执行意外操作，导致数据泄漏、未经授权的访问等后果。
LLM02：不安全输出（Insecure Output Handling）
盲目接受未经验证的输出，则可能导致严重后果，如XSS、CSRF、SSRF、权限提升或远程代码执行等。
LLM03：训练数据投毒（Training Data Poisoning）
当LLM训练数据被恶意篡改，引入损害安全性、有效性行为的漏洞时，这可能会产生带有虚假或未经证实的内容输出，可能会操纵用户传播仇恨言论等。
LLM04：模型拒绝服务（Model Denial of Service）
这是在其他领域很常见的攻击类型。如果LLM收到大量资源密集型请求，则可能会出现拒绝服务（DoS）攻击，导致LLM服务停止或者服务速度减慢。而且因为LLM的资源密集性和用户输入的不可预测性，将导致更大的风险。
LLM05：供应链漏洞（Supply Chain Vulnerabilities）
LLM应用程序中的供应链漏洞包括第三方数据集和预训练模型中的漏洞，风险也可能存在于插件中。通过仔细审查每个组件的引入可以缓解供应链漏洞风险。
LLM06：敏感信息泄露（Sensitive Information Disclosure）
LLM可能会在其输出中泄露机密数据，例如贸易信息，知识产权，专有算法等，导致未经授权的数据访问、隐私侵犯和安全漏洞。因此，建议预先实施数据清理，以避免敏感信息和用户数据进入训练数据。还有实施严格的用户策略来缓解这种风险。
LLM07：不安全的插件设计（Insecure Plugin Design）
LLM 会自动调用插件，为用户请求收集更多上下文。插件可能具有输入不安全以及缺乏访问控制的情况，有可能导致远程代码执行等后果。
LLM08：过度代理（Excessive Agency）
该风险是由于授予了基于LLM的系统过度的功能、权限或自主权。最好使用最小权限模型限制访问范围，以确保LLM只访问工作所需的插件和功能。
LLM09：过度依赖（Overreliance）
LLM很强大，但人类不应该完全依赖它们来做出决策。在没有监督的情况下过度依赖LLM可能会因LLM生成的不正确或不适当的内容而面临错误信息、法律问题和安全漏洞。
LLM10：模型窃取（Model Theft）
该风险涉及对LLM模型的未经授权的访问、复制或泄露。其影响包括经济损失、竞争优势受损以及敏感信息泄漏。
03
安天OWASP Top 10 for LLM安全解决方案
安天下一代WEB应用防护系统从LLM查询提示词过滤与规范化、敏感数据防泄漏、拒绝服务攻击防护、基于认证的安全管控、LLM访问审计与回溯五大方面为LLM应用提供安全解决方案，规避、缓解OWASP Top 10 for LLM中的安全风险。
图2 安天OWASP Top 10 for LLM 安全解决方案
1 LLM查询提示词过滤与规范化
安天下一代WEB应用防护系统具备一系列针对LLM应用环境的安全功能，如攻击特征检测、参数约束、文件安全以及XML/JSON数据规范等。这些措施旨在对LLM的输入进行严格的检查过滤和规范化处理，规避“LLM01-提示词注入”、“LLM05-供应链漏洞”和“LLM07-不安全的插件设计”风险。
“LLM01-提示词注入”是一种高危安全风险，攻击者企图通过精心构造的输入来操控LLM，从而导致其产生不可预期的行为。产品通过对LLM输入进行深度检查过滤，及时发现并阻止LLM应用安全相关的异常输入，缓解“LLM01-提示词注入”提及的安全风险。
产品内置大量WEB应用相关的库、组件、框架的漏洞特征，能有效地防止攻击者试图利用WEB相关漏洞对LLM发起攻击。这个保护机制能在很大程度上减轻“LLM05-供应链漏洞”安全风险。产品致力于确保LLM的整体安全，避免因外部供应链漏洞对其造成安全威胁。
下面是一个安天下一代WEB应用防护系统成功防止LLM供应链漏洞利用的示例。LLM接口框架Python开发库存在任意代码注入执行漏洞（CVE-2023-29374）。产品预置的Python相关攻击特征可以有效检测攻击者利用LLM接口框架LangChain漏洞，保护相关LLM应用不受到该漏洞的影响。
图3 LangChain LLM供应链漏洞
针对“LLM07-不安全的插件设计”风险，产品采用了一系列措施来限制和约束来自LLM插件的参数和文件。这包括对其参数进行类型和范围检查，对来自插件的文件进行WebShell和病毒扫描。通过对插件数据的过滤与限制，可以缓解因“LLM07-不安全的插件设计”带来的安全风险。
2 敏感数据防泄漏
在保护隐私安全的重要环节中，安天下一代WEB应用防护系统内置丰富的个人敏感数据特征，涵盖身份证号、社保号、银行卡号、手机号等重要个人信息。产品对LLM输出数据进行实时扫描，检测其中是否包含个人敏感信息。
同时产品支持用户自行导入适用于其业务的敏感词库，通过高速匹配算法对LLM目标数据实施快速检索，结合数据脱敏技术，及时发现并阻止敏感数据的泄漏。
安天下一代WEB应用防护系统的上述数据防泄漏措施能有效应对“LLM06-敏感信息泄露”安全风险，确保LLM敏感数据的安全存储。
3 拒绝服务攻击防护
产品提供综合的DDoS攻击防护方案，通过将反自动化工具技术与访问频度控制策略相结合，向用户提供从IP层到HTTP应用层的多层立体式DDoS安全解决方案，有效阻止攻击者利用自动化客户端工具向LLM提交高频查询请求、滥用LLM的查询接口，降低“LLM04-模型拒绝服务”风险。
另外，产品的业务健康监测功能能够实时监控LLM应用的运行状态。通过多维度监测指标，如业务可用性、延时、错误率等，能够及早察觉LLM应用是否正在受到拒绝服务攻击。一旦检测到目标业务异常，产品将第一时间向管理员发出告警通知，以便及时采取应对措施，减小“LLM04-模型拒绝服务”的影响。
4 基于认证的访问管控
产品的用户跟踪功能实时监控用户对大语言模型的访问活动，识别LLM API调用的用户角色并记录其权限状态。在用户跟踪功能基础之上，进而实现基于用户角色的访问管控，发现未授权的用户访问和异常的用户权限状态变化。
“LLM10-模型窃取”风险主要是利用未授权的访问来达到窃取模型数据的目的。基于认证的访问管控策略不仅可以预防模型窃取风险，还能保障用户数据隐私，为整个LLM应用系统提供可信的环境。
5 LLM访问审计与回溯
针对已向公众开放使用的大语言模型应用，如ChatGPT，产品能够自动识别其业务流量，并对其流量进行相应的数据解析，结合用户角色、客户端类型、威胁等级等信息，对用户访问LLM的行为进行详细记录。
直观的可视化界面支持从多个视角展示LLM业务数据，允许用户从访问来源、访问用户、模型威胁等多个维度进行调查分析，快速捕捉、识别异常的活动和潜在的威胁。
图4 ChatGPT流量识别
通过对LLM插件、工具的模型访问行为的审计和回溯，能够及时发现其对LLM接口的异常访问，如过度的模型API调用等。结合产品内置的API访问频度控制策略，可以缓解“LLM08-过度代理”安全风险。
04
结语
伴随着LLM的迅猛发展和广泛应用，LLM安全问题逐步突显。安天下一代WEB应用防护系统通过输入过滤与规范化、敏感数据防泄漏、拒绝服务防护、认证管控和访问审计回溯五大安全举措为LLM应用环境提供综合的安全解决方案，有效应对OWASP Top 10 for LLM中涉及的安全风险，为用户的大模型平台和应用提供可靠的安全保障。
# 安天青竹智语实验室简介 #
“安天青竹智语实验室”是安天集团为保障业务应用安全成立的实验室。该实验室在应对传统WEB应用威胁的基础上，增强API安全防护和自动化攻击防御；深度结合客户业务，发现逻辑异常、分析用户行为、追溯攻击源头，通过揭示攻击行为的深层次原因，提早发现客户业务系统漏洞，为业务稳定运行提供有效防护。
国内各大企业和研究机构也陆续推出了大模型应用，比如百度公司的文心一言、复旦大学的MOSS和清华大学的ChatGLM等。
然而，伴随着大语言模型广泛应用的同时，ChatGPT和类似应用也接连暴露出安全问题。大语言模型应用带来了新的安全问题，并引发了多起安全事件。
大 语 言 模 型 涉 及 的 安 全 事 件 | |
2023年2月，印度有犯罪团伙利用ChatGPT来编写用于诈骗的电子邮件和短信。 | |
2023年3月20日，一些 ChatGPT Plus用户发现其订阅的页面上出现其他人的电子邮件地址等敏感信息，经调查发现是其Redis客户端开源库的问题导致个人信息泄露。 | |
2023年3月24日，华盛顿大学计算机科学专业学生Alex Albert宣布发现了ChatGPT-4的“越狱”漏洞，可绕过ChatGPT的安全机制。 | |
从2023年3月31日起，意大利数据保护局以侵犯数据隐私为由，将 ChatGPT禁用了一个月之久。微软、摩根大通、亚马逊、沃尔玛等行业巨头也相继限制员工使用或者禁用ChatGPT。 | |
研究人员发现 ChatGPT 存在严重的Web缓存欺骗漏洞，黑客可利用该漏洞窃取其他用户的 ChatGPT 帐户。 | |
一名澳大利亚市长发现ChatGPT生成了关于他的虚假犯罪指控，于是愤而向 OpenAI 公司提起诽谤诉讼。 | |
研究人员仅凭ChatGPT和OpenAI公司的另一款人工智能编程工具 Codex，就可以生成一封可植入反向 shell 型恶意软件的钓鱼邮件。 | |
2023年7月28日，CMU和人工智能安全中心的研究人员发现通过生成一个神秘的prompt后缀，可以轻松击破LLM的安全护栏，生成无限制的有害内容。ChatGPT、Bard等家族均被攻陷，无一幸免。 |
2023年8月1日OWASP（全球开放应用软件安全项目组织）正式发布了专门针对与大型语言模型 (LLM) 应用程序十大风险1.0 版，指导如何应对LLM应用中可能存在的安全风险。
下图是OWASP梳理总结的最严重的十大LLM应用安全漏洞类型：
图1 OWASP Top 10 for LLM 列表
OWASP TOP 10 for LLM列表的项目具体说明如下：
LLM01：提示词注入（Prompt Injection）
通过精心构造的提示词来操控大语言模型，使得该模型忽略先前的指令或者执行意外操作，导致数据泄漏、未经授权的访问等后果。
LLM02：不安全输出（Insecure Output Handling）
盲目接受未经验证的输出，则可能导致严重后果，如XSS、CSRF、SSRF、权限提升或远程代码执行等。
LLM03：训练数据投毒（Training Data Poisoning）
当LLM训练数据被恶意篡改，引入损害安全性、有效性行为的漏洞时，这可能会产生带有虚假或未经证实的内容输出，可能会操纵用户传播仇恨言论等。
LLM04：模型拒绝服务（Model Denial of Service）
这是在其他领域很常见的攻击类型。如果LLM收到大量资源密集型请求，则可能会出现拒绝服务（DoS）攻击，导致LLM服务停止或者服务速度减慢。而且因为LLM的资源密集性和用户输入的不可预测性，将导致更大的风险。
LLM05：供应链漏洞（Supply Chain Vulnerabilities）
LLM应用程序中的供应链漏洞包括第三方数据集和预训练模型中的漏洞，风险也可能存在于插件中。通过仔细审查每个组件的引入可以缓解供应链漏洞风险。
LLM06：敏感信息泄露（Sensitive Information Disclosure）
LLM可能会在其输出中泄露机密数据，例如贸易信息，知识产权，专有算法等，导致未经授权的数据访问、隐私侵犯和安全漏洞。因此，建议预先实施数据清理，以避免敏感信息和用户数据进入训练数据。还有实施严格的用户策略来缓解这种风险。
LLM07：不安全的插件设计（Insecure Plugin Design）
LLM 会自动调用插件，为用户请求收集更多上下文。插件可能具有输入不安全以及缺乏访问控制的情况，有可能导致远程代码执行等后果。
LLM08：过度代理（Excessive Agency）
该风险是由于授予了基于LLM的系统过度的功能、权限或自主权。最好使用最小权限模型限制访问范围，以确保LLM只访问工作所需的插件和功能。
LLM09：过度依赖（Overreliance）
LLM很强大，但人类不应该完全依赖它们来做出决策。在没有监督的情况下过度依赖LLM可能会因LLM生成的不正确或不适当的内容而面临错误信息、法律问题和安全漏洞。
LLM10：模型窃取（Model Theft）
该风险涉及对LLM模型的未经授权的访问、复制或泄露。其影响包括经济损失、竞争优势受损以及敏感信息泄漏。
图2 安天OWASP Top 10 for LLM 安全解决方案
安天下一代WEB应用防护系统具备一系列针对LLM应用环境的安全功能，如攻击特征检测、参数约束、文件安全以及XML/JSON数据规范等。这些措施旨在对LLM的输入进行严格的检查过滤和规范化处理，规避“LLM01-提示词注入”、“LLM05-供应链漏洞”和“LLM07-不安全的插件设计”风险。
下面是一个安天下一代WEB应用防护系统成功防止LLM供应链漏洞利用的示例。LLM接口框架Python开发库存在任意代码注入执行漏洞（CVE-2023-29374）。产品预置的Python相关攻击特征可以有效检测攻击者利用LLM接口框架LangChain漏洞，保护相关LLM应用不受到该漏洞的影响。
图3 LangChain LLM供应链漏洞
针对“LLM07-不安全的插件设计”风险，产品采用了一系列措施来限制和约束来自LLM插件的参数和文件。这包括对其参数进行类型和范围检查，对来自插件的文件进行WebShell和病毒扫描。通过对插件数据的过滤与限制，可以缓解因“LLM07-不安全的插件设计”带来的安全风险。
在保护隐私安全的重要环节中，安天下一代WEB应用防护系统内置丰富的个人敏感数据特征，涵盖身份证号、社保号、银行卡号、手机号等重要个人信息。产品对LLM输出数据进行实时扫描，检测其中是否包含个人敏感信息。
同时产品支持用户自行导入适用于其业务的敏感词库，通过高速匹配算法对LLM目标数据实施快速检索，结合数据脱敏技术，及时发现并阻止敏感数据的泄漏。
安天下一代WEB应用防护系统的上述数据防泄漏措施能有效应对“LLM06-敏感信息泄露”安全风险，确保LLM敏感数据的安全存储。
产品提供综合的DDoS攻击防护方案，通过将反自动化工具技术与访问频度控制策略相结合，向用户提供从IP层到HTTP应用层的多层立体式DDoS安全解决方案，有效阻止攻击者利用自动化客户端工具向LLM提交高频查询请求、滥用LLM的查询接口，降低“LLM04-模型拒绝服务”风险。
另外，产品的业务健康监测功能能够实时监控LLM应用的运行状态。通过多维度监测指标，如业务可用性、延时、错误率等，能够及早察觉LLM应用是否正在受到拒绝服务攻击。一旦检测到目标业务异常，产品将第一时间向管理员发出告警通知，以便及时采取应对措施，减小“LLM04-模型拒绝服务”的影响。
产品的用户跟踪功能实时监控用户对大语言模型的访问活动，识别LLM API调用的用户角色并记录其权限状态。在用户跟踪功能基础之上，进而实现基于用户角色的访问管控，发现未授权的用户访问和异常的用户权限状态变化。
“LLM10-模型窃取”风险主要是利用未授权的访问来达到窃取模型数据的目的。基于认证的访问管控策略不仅可以预防模型窃取风险，还能保障用户数据隐私，为整个LLM应用系统提供可信的环境。
图4 ChatGPT流量识别
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论，来说两句吧...