【国际视野】美国网络安全和基础设施安全局和英国国家网络安全中心联合发布《安全人工智能系统开发指南》

人工智能系统存在新的安全漏洞，需要与标准网络安全威胁一起加以考虑。当人工智能的开发速度很快时，安全往往会成为次要考虑因素。不仅在开发阶段，在系统的整个生命周期中，安全都必须是一项核心要求。

指南分为人工智能系统开发生命周期中的四个关键领域：安全设计、安全开发、安全部署以及安全运行及维护。针对每个领域，都提出了有助于降低组织人工智能系统开发流程整体风险的注意事项和缓解措施。

该指南采用"默认安全"方法，并与NCSC 的安全开发和部署指南、NIST的安全软件开发框架以及CISA、NCSC和国际网络机构发布的"设计安全原则"中定义的实践紧密结合。优先考虑：

本文档中提出的指导原则与以下文档中定义的软件开发生命周期实践密切相关：

本节包含适用于人工智能系统开发生命周期设计阶段的指导原则，内容包括了解风险和威胁建模，以及在系统和模型设计中需要考虑的特定主题和权衡因素。

系统所有者和高层领导了解对安全人工智能的威胁及其缓解措施。数据科学家和开发人员保持对相关安全威胁和故障模式的认识，并帮助风险所有者做出明智决策。为用户提供有关人工智能系统所面临的独特安全风险的指导，并对开发人员进行安全编码技术以及安全、负责任的人工智能实践方面的培训。

作为风险管理流程的一部分，需要采用一个整体流程来评估系统面临的威胁，其中包括了解如果人工智能组件遭到破坏或出现意外行为，会对系统、用户、组织和更广泛的社会造成哪些潜在影响。这一过程包括评估人工智能特定威胁的影响，并记录决策。系统中使用的数据的敏感性和类型可能会影响其作为攻击目标的价值。评估应考虑到，随着人工智能系统日益被视为高价值目标，以及人工智能本身带来新的自动化攻击载体，某些威胁可能会增加。

需确保手头的任务最适合使用人工智能来解决。确认后，需评估人工智能特定设计选择的适当性。在考虑功能、用户体验、部署环境、性能、保证、监督、道德和法律要求等因素的同时，还要考虑威胁模型和相关的安全缓解措施。

人工智能模型的选择将涉及一系列要求之间的平衡。这包括选择模型架构、配置、训练数据、训练算法和超参数。您的决策要以威胁模型为依据，并随着人工智能安全研究的发展和对威胁认识的加深而定期重新评估。在选择人工智能模型时，您需要考虑的因素可能包括但不限于以下几点：

有关这些因素如何影响安全结果的更多信息，请参阅NCSC的"机器学习安全原则"，特别是安全设计（模型架构）。

本节包含适用于人工智能系统开发生命周期开发阶段的指导原则，包括供应链安全、文档以及资产和技术债务管理

在系统的整个生命周期内，您都要评估和监控人工智能供应链的安全性，并要求供应商遵守贵组织对其他软件适用的相同标准。如果供应商无法遵守贵组织的标准，您将根据现有的风险管理政策采取行动。

如果不是内部生产，则从经过验证的商业、开放源码和其他第三方开发商处获取并维护安全可靠、文档齐全的硬件和软件组件（例如，模型、数据、软件库、模块、中间件、框架和外部API），以确保系统的稳健安全。

如果不符合安全标准，可以随时为关键任务系统切换到备用解决方案。使用NCSC的《供应链指南》等资源和《软件工件供应链级别》（SLSA）等框架来跟踪供应链和软件开发生命周期的证明。

了解人工智能相关资产对贵组织的价值，包括模型、数据（包括用户反馈）、提示、软件、文档、日志和评估（包括有关潜在不安全功能和故障模式的信息），认识到它们在哪些方面代表着重大投资，在哪些方面访问它们会使攻击者得逞。将日志视为敏感数据，并实施控制以保护其机密性、完整性和可用性。

了解资产的位置，评估并接受相关风险。将拥有跟踪、验证、版本控制和保护资产安全的流程和工具，并能在发生泄漏时恢复到已知的良好状态。您有相应的流程和控制措施来管理人工智能系统可以访问的数据，并根据其敏感性（以及生成内容的输入敏感性）来管理人工智能生成的内容。

记录任何模型、数据集和元或系统提示的创建、运行和生命周期管理。文档包括与安全相关的信息，如训练数据的来源（包括微调数据和人类或其他操作反馈）、预期范围和限制、防护栏、加密哈希值或签名、保留时间、建议的审查频率和潜在故障模式。有用的结构包括模型卡、数据卡和软件物料清单（SBOM）。编制全面的文档有助于提高透明度和问责制。

与任何软件系统一样，在人工智能系统的整个生命周期中，都要识别、跟踪和管理"技术债务"。与金融债务一样，技术债务本质上并非坏事，但应在开发的最初阶段就加以管理。你们认识到，与标准软件相比，在人工智能环境中这样做更具挑战性，而且由于开发周期快，缺乏完善的协议和接口，技术债务水平可能会很高。需确保生命周期计划（包括人工智能系统退役流程）评估、确认并降低未来类似系统的风险。

本节包含适用于人工智能系统开发生命周期部署阶段的指导原则，包括保护基础设施和模型免遭破坏、威胁或损失，制定事故管理流程，以及负责任地发布。

在系统生命周期的每一个阶段，您都要对所使用的基础架构应用良好的基础架构安全原则。在研发和部署过程中，对应用程序接口、模型和数据及其训练和处理管道实施适当的访问控制。这包括对存放敏感代码或数据的环境进行适当隔离。这也将有助于减少旨在窃取模型或损害其性能的标准网络安全攻击。

攻击者可能通过直接访问模型（获取模型权重）或间接访问模型（通过应用程序或服务查询模型），重建模型的功能或其训练数据。攻击者还可能在训练过程中或训练后篡改模型、数据或提示，导致输出不可信。可以通过以下方式保护模型和数据免受直接和间接访问：

为确保消费系统能够验证模型，您应在模型训练完成后立即计算和共享模型文件（例如模型权重）和数据集（包括检查点）的加密哈希值和/或签名。与加密技术一样，良好的密钥管理至关重要。

降低保密性风险的方法在很大程度上取决于用例和威胁模型。某些应用，例如涉及非常敏感数据的应用，可能需要理论上的保证，而这种保证可能难以应用或成本高昂。如果合适，可以使用隐私增强技术（如差分隐私或同态加密）来探索或确保与消费者、用户和攻击者访问模型和输出相关的风险水平。

影响人工智能系统的安全事件是不可避免的，这反映在事件响应、升级和补救计划中。计划反映了不同的情况，并随着系统和更广泛研究的发展定期进行重新评估。将重要的公司数字资源存储在离线备份中。应对人员接受过评估和处理人工智能相关事件的培训。免费向客户和用户提供高质量的审计日志和其他安全功能或信息，以支持其事件响应流程。

只有在对模型、应用程序或系统进行了适当而有效的安全评估（如基准测试和红队测试）（以及不在本指南范围内的其他测试，如安全性或公平性测试）之后，才可以发布这些模型、应用程序或系统，并且您应向用户明确说明已知的限制或潜在的故障模式。有关开源安全测试库的详细信息，请参阅本文档末尾的"进一步阅读"部分。

每一个新的设置或配置选项都要结合其带来的业务效益和任何安全风险进行评估。理想情况下，最安全的设置将作为唯一选项集成到系统中。在必须进行配置时，默认选项应具有广泛的安全性，可抵御常见威胁（即默认安全）。采取控制措施，防止以恶意方式使用或部署系统。为用户提供适当使用模型或系统的指导，包括强调局限性和潜在故障模式。向用户明确说明对哪些方面的安全负责，并对他们的数据可能在何处（以及如何）被使用、访问或存储（例如，如果数据被用于模型再培训，或被员工或合作伙伴审查）保持透明。

本节包含适用于人工智能系统开发生命周期中安全运行和维护阶段的指导原则。它提供了系统部署后特别相关的行动指南，包括日志记录和监控、更新管理和信息共享。

通过测量模型和系统的输出和性能，可以观察到影响安全的行为的突然和逐渐变化。可以考虑并识别潜在的入侵和破坏，以及自然的数据漂移。

根据隐私和数据保护要求，需要监控和记录对系统的输入（如推理请求、查询或提示），以便在发生泄露或滥用时履行合规义务、进行审计、调查和补救。这可能包括明确检测分布外和/或对抗性输入，包括旨在利用数据准备步骤（如裁剪和调整图像大小）的输入。

在每个产品中默认包含自动更新，并使用安全的模块化更新程序分发更新。您的更新程序（包括测试和评估制度）反映了这样一个事实，即数据、模型或提示的变更可能导致系统行为的变更。支持用户评估和响应模型变更（例如，通过提供预览访问和版本化API）。

参与信息共享社区，在全球工业、学术界和政府生态系统中开展合作，酌情共享最佳实践。在组织内部和外部保持开放的沟通渠道，以获得有关系统安全的反馈，包括同意安全研究人员研究和报告漏洞。必要时，将问题上报给更广泛的社区，例如发布公告回应漏洞披露，包括详细完整的常见漏洞列举。快速、适当地采取行动缓解和修复问题。