部署安全和弹性人工智能系统的最佳实践

公众号回复 行业群

安全地部署人工智能（Al）系统需要仔细的设置和配置，这取决于AI系统的复杂性、所需的资源（例如，资金，技术专长），以及所使用的基础设施（即，本地、云或混合）。本报告扩展了安全Al系统开发指南的“安全部署”和“安全操作和维护”部分，并纳入了与人工智能（AI）互动的缓解考虑因素。它适用于部署和操作由另一个实体设计和开发的Al系统的组织。最佳实践可能不适用于所有环境，因此缓解措施应适应特定的用例和威胁概况。

Al安全是一个快速发展的研究领域。随着机构、行业和学术界发现人工智能技术的潜在弱点以及利用这些弱点的技术，组织除了将传统的IT最佳实践应用于人工智能系统之外，还需要更新其人工智能系统以应对不断变化的风险。

这份报告由美国国家安全局人工智能安全中心（AISC）、网络安全和基础设施安全局（CISA）、联邦调查局（FBI）、澳大利亚信号局的澳大利亚网络安全中心（ACSC）、加拿大网络安全中心（CCCS）、新西兰国家网络安全中心（NCSC-NZ）和英国国家网络安全中心（NCSC-UK）。AISC和本报告的目标是：

1.提高Al系统的机密性、完整性和可用性；

2.确保人工智能系统中已知的网络安全漏洞得到适当缓解；

3.提供方法和控制措施，以保护、检测和响应针对Al系统及相关数据和服务的恶意活动。

这些最佳实践最适用于在内部或私有云环境中部署和运营外部开发的AI系统的组织，特别是那些处于高威胁、高价值环境中的组织。它们不适用于那些自己没有部署Al系统，而是利用其他人部署的Al系统的组织。

并非所有的指导方针都直接适用于所有组织或环境。攻击的复杂程度和方法将取决于针对人工智能系统的对手，因此组织应该在考虑其用例和威胁概况的同时考虑指导。

人工智能功能的快速采用、部署和使用可以使它们成为恶意网络行为者的极有价值的目标。历史上曾使用敏感信息和知识产权的数据盗窃来促进其利益的行为者可能会寻求增选部署的人工智能系统并将其应用于恶意目的。

针对人工智能系统的恶意攻击者可能会使用人工智能系统特有的攻击媒介，以及针对传统IT的标准技术。由于攻击媒介种类繁多，防御需要多样化和全面。高级恶意行为者通常结合多个向量来执行更复杂的操作。这种组合可以更有效地穿透多层防御。

组织应考虑以下最佳实践，以保护部署环境，持续保护AI系统，并安全地操作和维护AI系统。

以下最佳实践与CISA和美国国家标准与技术研究所（NIST）制定的跨部门网络安全性能目标（CPG）保持一致。CPG提供了CISA和NIST建议所有组织实施的最低实践和保护。CISA和NIST的CPG基于现有的网络安全框架和指南，以防范最常见和最具影响力的威胁，战术，技术和程序。

保护部署环境

组织通常在现有的IT基础设施中部署A智能系统。在部署之前，它们应该确保IT环境应用了健全的安全原则，如健壮的治理、设计良好的体系结构和安全的配置。例如，确保负责人工智能系统网络安全的人是对组织的网络安全负责的同一人。

IT环境的安全最佳实践和要求也适用于AI系统。以下最佳实践对于应用于AI系统和组织部署它们的IT环境尤为重要。

管理部署环境治理

• 如果IT之外的组织正在部署或运营AI系统，请与IT服务部门合作，确定部署环境并确认其符合组织的IT标准。

• 了解组织的风险水平，并确保AI系统及其使用在组织的整体风险承受能力范围内，以及托管AI系统的特定IT环境的风险承受能力范围内。评估并记录适用的威胁、潜在影响和风险接受度。

• 确定每个利益相关者的角色和责任，以及他们如何负责履行这些责任；如果组织将其IT环境与人工智能系统分开管理，则确定这些利益相关者尤为重要。

• 确定IT环境的安全边界以及AI系统如何适应这些边界。

• 要求AI系统的主要开发人员为其系统提供威胁模型。

• Al系统部署团队应利用威胁模型作为实施安全最佳实践、评估潜在威胁和计划缓解措施的指南。

• 在为AI系统产品或服务制定合同时，请考虑部署环境安全要求。

• 为所有相关方，特别是数据科学、基础设施和网络安全团队，促进协作文化，让团队能够表达任何风险或担忧，并让组织适当地解决这些问题。

确保稳健的部署环境体系结构

• 为IT环境和AI系统之间的边界建立安全保护。
• 识别并解决威胁模型识别的Al系统中边界保护和其他安全相关领域的盲点。例如，确保对AI模型权重使用访问控制系统，并将访问限制为具有双人控制（TPC）和双人完整性（TPI）的一组特权用户。
• 识别和保护组织将在Al模型训练或微调中使用的所有专有数据源。检查数据源列表(如果可用），以查找由其他人训练的模型。维护一个受信任和有效的数据源目录将有助于防止潜在的数据中毒或后门攻击。
• 将安全设计原则和零信任（ZT）框架应用于架构，以管理AI系统的风险。

强化部署环境配置

• 将现有的安全最佳实践应用于部署环境。这包括在强化容器或虚拟机中运行ML模型的环境沙箱，监控网络，使用允许列表配置防火墙以及其他最佳实践，例如NSA的十大云部署云缓解策略中的那些。
• 查看硬件供应商指南和通知（例如，用于GPU、CPU、内存），并应用软件补丁和更新，以最大限度地降低漏洞利用的风险，最好是通过通用安全咨询框架（CSAF）。
• 保护敏感的AI信息（例如，AI通过加密静态数据来建模权重、输出和日志），并将加密密钥存储在硬件安全模块（HSM）中，以供稍后按需解密。
• 实施强身份验证机制、访问控制和安全通信协议，例如使用最新版本的传输层安全性（TLS）来加密传输中的数据。
• 确保使用防钓鱼多因素身份验证（MFA）访问信息和服务。监控并响应欺诈性身份验证尝试。
• 了解并缓解恶意行为者如何利用薄弱的安全控制，请遵循《薄弱的安全控制和实践》中的缓解措施。

保护部署网络免受威胁

采用ZT的思维方式，即假设违约是不可避免的或已经发生的。实施检测和响应能力，能够快速识别和遏制妥协。

• 使用经过良好测试的高性能网络安全解决方案来有效识别未经授权访问的尝试，并提高事件评估的速度和准确性。

• 集成事件检测系统，以帮助确定事件的优先级。此外，还集成了一种方法，可以立即阻止涉嫌恶意的用户访问，或者在发生重大事件时断开与AI模型和系统的所有入站连接。

持续保护AI系统

模型是软件，并且像所有其他软件一样，可能具有漏洞、其他弱点或恶意代码或属性。

在使用前和使用过程中验证人工智能系统

• 使用加密方法、数字签名和校验和来确认每个工件的起源和完整性（例如，加密安全源以保护它们的完整性和机密性），在人工智能过程中保护敏感信息免受未经授权的访问。
• 为每个版本的Al模型和系统创建哈希值和加密副本，以便在防篡改位置存档，将哈希值和/或加密密钥存储在安全保险库或HSM内，以防止在同一位置访问加密密钥以及加密数据和模型。
• 存储所有形式的代码（例如，源代码、可执行代码、作为代码的基础结构）和工件（例如，模型、参数、配置、数据、测试），并具有适当的访问控制，以确保仅使用经过验证的代码并跟踪任何更改。
• 彻底测试AI模型的鲁棒性、准确性和修改后的潜在漏洞。应用对抗性测试等技术来评估模型对妥协尝试的弹性。
• 为自动回滚做好准备，并使用具有人机交互的高级部署作为故障保护，以提高可靠性、效率并实现Al系统的持续交付。在人工智能系统的背景下，回滚功能确保如果新模型或更新引入问题，或者如果人工智能系统受到损害，组织可以快速恢复到最后已知的良好状态，以最大限度地减少对用户的影响。
• 评估和保护任何外部人工智能模型和数据的供应链，确保它们符合组织标准和风险管理政策，并首选根据安全设计原则开发的标准和政策。确保供应链中无法遵守组织标准和政策的部分的风险得到理解和接受。
• 不要立即在企业环境中运行模型。在考虑对模型进行调优、训练和部署之前，在安全的开发区域内仔细检查模型，尤其是导入的预训练模型。使用组织批准的AI特定扫描仪（如果可用）来检测潜在的恶意代码，以确保部署前的模型有效性。
• 考虑自动化检测、分析和响应功能，通过为IT和安全团队提供洞察力，使他们能够对潜在的网络事件做出快速、有针对性的反应，从而提高他们的效率。对AI模型及其托管IT环境进行持续扫描，以识别可能的篡改。在考虑是否使用其他人工智能能力来提高自动化效率时，要仔细权衡风险和好处，并确保在需要的地方有一个人工循环。

保护暴露的API

• 如果Al系统公开了应用程序编程接口（APIs），请通过实现API访问的身份验证和授权机制来保护它们。使用安全协议，例如带有加密和身份验证的HTTPS。
• 对所有输入数据实施验证和清理协议，以降低不期望的、可疑的、不兼容的或恶意的输入被传递到Al系统的风险（例如，快速注射攻击）。

主动监控模型行为

• 收集日志，以涵盖输入、输出、中间状态和错误；自动执行警报和触发器。
• 监视模型的架构和配置设置，以防止任何可能危及模型性能或安全性的未经授权的更改或意外修改。
• 监控试图访问或从AI模型或引出数据或聚合推理响应。

保护模型权重

• 加强访问模型权重的接口，以增加对手泄露权重所需的努力。例如，确保API只返回任务所需的最小数据，以抑制模型反转。
• 在可行的情况下，对模型重量存储实施硬件保护。例如，禁用不需要的硬件通信功能，并防止发射或侧信道技术。
• 积极隔离重量储存。例如，将模型权重存储在受保护的存储库中、高度受限区域（HRZ）中（即，单独的专用飞地）或使用HSM。

安全的AI操作和维护

遵循组织批准的IT流程和程序，以批准的方式部署AI系统，确保实施以下控制措施。

实施严格的访问控制

防止未经授权的访问或篡改AI模型。应用基于角色的访问控制（RBAC），或者在可行的情况下最好是基于属性的访问控制（ABAC)，以将访问限制为仅授权人员。区分用户和管理员。需要MFA和特权访问工作站(PAW）进行管理访问。

确保用户意识和培训

向用户、管理员和开发人员介绍安全最佳实践，例如强密码管理、网络钓鱼预防和安全数据处理。促进安全意识文化，以最大限度地减少人为错误的风险。如果可能，使用凭证管理系统来限制、管理和监控凭证的使用，以进一步最大限度地降低风险。

执行审计和渗透测试

聘请外部安全专家对准备部署的AI系统进行审计和渗透测试。这有助于识别可能被内部忽视的漏洞和弱点。

实施可靠的日志记录和监控

使用强大的监控和日志记录机制监控系统的行为、输入和输出，以检测任何异常行为或潜在的安全事件。注意数据漂移或高频或重复输入（因为这些可能是模型妥协或自动妥协尝试的迹象）。

建立警报系统，以通知管理员潜在的Oracle式对抗性攻击尝试、安全漏洞或异常情况。及时检测和响应网络事件对于保护人工智能系统至关重要。

定期更新和补丁

当将模型更新到新的/不同的版本时，在重新部署之前，运行完整的评估以确保准确性、性能和安全性测试在可接受的范围内。

为高可用性（HA）和灾难恢复（DR）做好准备

根据系统的要求，使用一个不可变的备份存储系统，以确保每个对象，特别是日志数据，都是不可变的，不能被更改。

规划安全删除功能

执行组件的自主和不可恢复的删除，例如训练和验证模型或加密密钥，在数据和模型暴露或可访问的任何过程完成时没有任何保留或残留。

结论

创作机构建议部署人工智能系统的组织实施强大的安全措施，既能防止敏感数据被盗，又能减少人工智能系统的滥用。例如，模型权重，深度神经网络的可学习参数，是需要保护的一个特别关键的组件。它们独特地代表了训练高级Al模型的许多昂贵且具有挑战性的先决条件的结果，包括大量的计算资源；收集，处理和潜在敏感的训练数据；以及算法优化。

Al系统是软件系统。因此，部署组织应该更喜欢设计安全的系统，其中AI系统的设计者和开发人员对系统运行后的积极安全结果非常感兴趣。

尽管有必要为所有相关攻击向量全面实施安全措施以避免重大安全漏洞，并且随着人工智能领域和技术的发展，最佳实践将发生变化，但以下总结了一些特别重要的措施：

• 对使用特权访问或执行关键服务的所有设备进行持续的危害评估。

• 强化和更新IT部署环境。

• 回顾AI模型和供应链安全的来源。

• 在部署之前对AI系统进行调试。

• 对AI系统实施严格的访问控制和API安全，采用最小特权和深度防御的概念。

• 使用强大的日志记录、监控以及用户和实体行为分析(UEBA)来识别内部威胁和其他恶意活动。

• 限制和保护对模型权重的访问，因为它们是AI系统的本质。

• 保持对当前和新出现的威胁的意识，特别是在快速发展的人工智能领域，并确保组织的人工智能系统得到强化，以避免安全漏洞和漏洞。

最后，保护人工智能系统涉及识别风险、实施适当的缓解措施和监控问题的持续过程。通过采取本报告中概述的步骤来确保人工智能系统的部署和运行，组织可以显著降低所涉及的风险。这些步骤有助于保护组织的知识产权、模型和数据免遭盗窃或滥用。

从一开始就实施良好的安全实践将使组织走上成功部署AI系统的正确道路。