OWASP 大语言模型人工智能应用Top 10 安全威胁（回复llmtop10下载文件）

2022 年底，随着ChatGPT进入大众市场，人们对大型语言模型 (LLM) 的关注尤为浓厚。渴望利用大语言模型潜力的企业正在迅速将其整合到其运营和面向客户的产品中。然而，大语言模型的采用速度已经超过了全面安全协议的建立速度，导致许多应用程容易受到高风险问题的影响。很明显，大语言

模型还没有统一的资源来解决这些安全问题。很多开发者对于与LLM相关的安全风险不够了解，所以

相关资源很分散。而OWASP正好能够协助推进这项技术的更安全应用。

黄连金 (Ken Huang)

https://www.linkedin.com/in/kenhuang8

LLM01：提示词注入

  黑客通过设计过的输入（提示词）操纵大型语言模型(LLM)，从而导致 LLM 执行意外操作。提示词注入会覆盖系统提示词，而间接注入操纵外部数据源进行注入攻击。

LLM02 不安全的输出处理 

  当LLM 输出未经审查而被接受时，就会出现此漏洞，从而暴露后端系统。滥用可能会导致 XSS、CSRF、SSRF、权限升级或远程代码执行等严重后果。

LLM03 训练数据中毒 

  当LLM 培训数据被篡改，引入损害安全性、有效性或道德行为的漏洞或偏见时，就会发生这种情况。来源包括 Common Crawl、 WebText 、 OpenWebText和书籍。

LLM04 拒绝服务模型 

  攻击者对大型语言模型进行资源密集型操作，导致服务降级或高成本。由于LLM的资源密集型性质和用户输入的不可预测性，该漏洞被放大。

LLM05 供应链漏洞 

  LLM应用程序生命周期可能会受到易受攻击的组件或服务的影响，从而导致安全攻击。使用第三方数据集、预先训练的模型和插件可能会增加漏洞。

LLM06 敏感信息披露 

  LLM可能会在其回复中泄露机密数据，从而导致未经授权的数据访问、隐私侵犯和安全漏洞。实施数据清理和严格的用户策略来缓解这种情况至关重要。

LLM07 不安全的插件设计 

  LLM插件可能具有不安全的输入和不足的访问控制。缺乏应用程序控制使它们更容易被利用，并可能导致远程代码执行等后果。

LLM08 过度代理 

  基于LLM的系统可能会采取导致意想不到的后果的行动。该问题源于授予基于 LLM的系统过多的功能、权限或自主权。

LLM09 过度依赖 

  过度依赖LLM而不受监督的系统或人员可能会因LLM生成的不正确或不适当的内容而面临错误信息、沟通不畅、法律问题和安全漏洞。

LLM10 模型盗窃 

  这涉及对专有LLM模型的未经授权的访问、复制或泄露。影响包括经济损失、竞争优势受损以及敏感信息的潜在访问。

回复“llmtop10”下载文件

END