大模型10大网络安全威胁及防范策略

LLM01:2025 提示词注入（2025 Prompt Injection）

LLM02:2025 敏感信息披露（2025 Sensitive Information Disclosure）

LLM03:2025 供应链（2025 Supply Chain）

LLM04: 2025 数据和模型投毒（2025 Data and Model Poisoning）

LLM05:2025 不当输出处理 （2025 Improper Output Handling）

LLM06:2025 过度授权（2025 Excessive Agency）

LLM07:2025 系统提示泄露（2025 System Prompt Leakage）

LLM08:2025 向量和嵌入漏洞（2025 Vector and Embedding Weaknesses）

LLM09:2025 信息误导（2025 Misinformation）

LLM10:2025 无限资源消耗 （2025 Unbounded Consumption）

以下简单看一下可以实现的能力：

输入防护措施（Input rails）：应用于用户输入的内容；输入防护措施可以拒绝输入（停止任何进一步的处理）或改变输入（例如，掩盖可能敏感的数据，或者重新措辞）。

对话防护措施（Dialog rails）：影响对话的发展以及如何提示大型语言模型（LLM）；对话防护措施作用于规范化形式的消息，并决定是否应该执行某个动作，是否应该调用LLM来生成下一步或响应，或者是否应该使用预定义的响应。

检索防护措施（Retrieval rails）：在检索增强生成（RAG）场景中应用于检索到的内容块；检索防护措施可以拒绝某个内容块，防止其被用来提示LLM，或者改变相关的内容块（例如，掩盖可能敏感的数据）。

执行防护措施（Execution rails）：应用于需要调用的自定义动作（即工具）的输入/输出。

输出防护措施（Output rails）：应用于LLM生成的输出；输出防护措施可以拒绝输出，防止其被返回给用户或改变它（例如，删除敏感数据）。

对此除了建设之外，还有一些开源的安全评估工具，比如Garak，Garak，全称 Generative AI Red-teaming & Assessment Kit，是一种由 NVIDIA 开发的开源工具，专注于扫描 LLM 的漏洞。

对比发布的2025版和2023版的 LLM Top 10安全威胁，对于Top 10威胁程度的变化和新增安全威胁，比如：LLM01:提示词注入风险依然是Top 1的最大威胁，敏感信息泄露由2023版的top 6升到2025版的Top2等。同时也新增几项安全风险，比如系统提示泄露、向量和嵌入漏洞及无限资源消耗等安全威胁，随着人工智能的发展，安全威胁也在不断的变化，我们需要不断了解新的技术方向，最大程度的降低安全威胁的影响

「一起聊安全」帮会致力于网络安全材料汇总与分享，围绕网络安全标准、安全政策法规、安全报告及白皮书、安全会议、安全方案、新技术等方向，与FREEBUF知识大陆共建【一起聊安全】帮会，目前相关内容已有6600+，安全标准涵盖国标、行标、团标等，包括等保、关基、商密、数据安全、云计算、物联网、工业互联网、移动安全、风险评估、安全攻防等30+方向内容，覆盖最新安全政策法规、安全报告及白皮书等，为网安人提供最新最全资料。

苹果用户至App Store下载

安卓用户各大应用商城均可下载

如有问题请联系vivi微信：Erfubreef121