【资源共享时刻】一些人工智能安全的资源共享

给大家分享一些令人难以置信的资源！从大型语言模型应用程序的 OWASP Top 10 到 Microsoft 细致的 AI 系统漏洞严重性分类，这些工具不仅仅是指南，而且是防御潜在风险的积极主动姿态。让我们一起深入AI安全最前沿！🛡️✨

✅ OWASP 大型语言模型应用程序前 10 名

该项目提供了 LLM 应用程序中最常见和最严重的漏洞列表，例如提示注入和不安全的输出处理，强调了未经授权的访问和数据泄露等潜在后果。

• https://github.com/OWASP/www-project-top-10-for-large-language-model-applications?WT.mc_id=DT-MVP-5001664

✅ OWASP 机器学习安全前 10 名

它概述了机器学习系统中的十大安全问题，具体问题包括从输入操纵和数据中毒攻击到模型反转、成员推理、模型窃取、人工智能供应链攻击、迁移学习攻击、模型倾斜、输出完整性攻击以及模型中毒。

• https://owasp.org/www-project-machine-learning-security-top-10/

✅ MITRE 人工智能系统对抗威胁格局 (ATLAS)

ATLAS 是一个关于攻击人工智能系统的对手战术和技术的知识库。它基于人工智能安全专家的现实观察和演示，帮助国际社会了解和减轻这些风险。

• https://atlas.mitre.org/

✅ NIST 人工智能风险管理框架

它强调人工智能技术的变革潜力，同时认识到其固有风险，提供自愿、适应性强且非特定行业的资源来指导组织管理人工智能相关风险。

• https://www.nist.gov/itl/ai-risk-management-framework

✅ 微软人工智能系统漏洞严重程度分类

它对 AI/ML 系统中常见漏洞类型的严重性级别进行了分类，例如推理操纵、模型操纵和推理信息泄露，并提供了基于 Microsoft 安全响应中心 (MSRC) 咨询评级和易用性的严重性评估的详细示例和注意事项。的剥削。

• https://www.microsoft.com/en-us/msrc/aibugbar?WT.mc_id=DT-MVP-5001664

✅ Azure AI 内容安全

一个综合的内容审核平台，利用语言和视觉模型对性、暴力、仇恨和自残内容的多语言文本和图像进行分析和分类，分配严重性分数并使用户能够查看、确定优先级并采取行动。

• https://azure.microsoft.com/en-us/products/ai-services/ai-content-safety/?WT.mc_id=DT-MVP-5001664

🔽 OWASP-Top-10-for-LLMs-2023-v1_1.pdf

https://github.com/OWASP/www-project-top-10-for-large-language-model-applications/blob/main/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_1。pdf