AI系统的网络安全治理实践

随着人工智能能力越来越强，甚至达到接近人类智能的水平，AI系统在网络安全方面带来的问题也越来越多，引发了人们对AI系统网络安全的广泛关注和思考。而现阶段要确保AI系统的网络安全面临着巨大的挑战，若不引起足够重视，人工智能未来可能带来更多网络安全风险。

数据安全风险

数据投毒

数据投毒是指恶意行为者在模型训练阶段集中注入恶意或经过精心设计的数据样本，使模型在训练后产生特定的错误行为或后门，导致模型在正常输入下表现正常，但在遇到特定触发条件时产生预期之外的行为。数据投毒产生的原因是海量和多源的数据增加了数据审核的难度，而模型的黑箱特性进一步加大了检测投毒的复杂性。同时，恶意行为者的利益驱动和部分开发者对数据安全意识的不足，也为此类威胁提供了可乘之机。数据投毒对模型构成了严重的安全风险，例如在医疗诊断、金融交易和自动驾驶等应用中，可能导致严重的安全事故或经济损失。此外，一旦发现模型被投毒，可能需要耗费大量资源重新收集数据和训练模型，影响模型提供方的开发效率和信任度。

数据泄露

数据泄露是模型相关的敏感信息被未授权访问、使用或泄露。具体包括通过模型反向工程泄露训练数据，模型错误输出暴露个人身份等敏感信息，模型本身的结构和参数被窃取或滥用。造成数据泄露的根本原因是模型具有强大的特征提取和记忆能力，数据泄露可能导致个人隐私被侵犯、身份信息被盗用，以及商业机密的泄露。例如在医疗和金融等敏感领域，这种风险可能造成严重的法律问题。

模型安全风险

对抗样本

对抗样本对模型的安全应用构成了严重威胁，其影响范围涵盖了多模态领域，包括视觉、听觉和文本处理系统。在视觉领域，自动驾驶车辆可能误读被篡改的交通标志，安检系统可能忽视经过精心处理的危险物品图像。听觉方面，语音助手可能被隐藏在背景音中的对抗指令操纵。人脸识别和生物特征识别系统面临被精心设计的图像或视频欺骗的风险。在生成式人工智能时代，多模态对抗样本可能导致大模型输出恶意行为者可控的有害内容。例如，经过处理的图像输入可能引导模型生成包含违法或危险行为指导的文本描述。视频生成模型可能被操纵制作令人不安或具有误导性的深度伪造内容。音频生成系统可能被诱导创建虚假的语音消息或模仿特定人物的声音。多模态对抗样本产生的内容如果广泛传播，会造成信息混乱，特别是在跨模态内容理解和生成方面，对抗样本的威胁更加隐蔽和难以检测，为滥用和欺诈行为提供了新的途径。这种多维度的安全风险，突显了在人工智能发展中加强多模态对抗样本防御的紧迫性和重要性。

提示词注入风险

提示词注入的主要原因为大模型对指令的高度敏感性和灵活性。尽管大模型在语义理解方面表现出色，可以适应广泛的输入和指令，但这种灵活性可能被恶意利用。恶意行为者可以巧妙构造提示词，通过利用大模型对上下文的敏感性和对指令的忠实执行特性，来操纵大模型的行为。此外，模型在处理复杂、多层次或潜在矛盾的指令时可能存在挑战，这为恶意行为者提供了可利用的空间。虽然模型具有强大的语义理解能力，但在区分正常请求和恶意指令方面仍面临困难，特别是当这些指令巧妙地融入正常文本中的时候，恶意行为者可以巧妙构造恶意文本来操纵大模型的行为。

应用安全风险

智能体安全风险

大模型智能体的安全风险是指通过提示词注入或对抗样本的方式，让大模型规划出恶意的任务序列，或生成并执行恶意的指令。这类风险产生的主要原因为大模型无法区分输入prompt中的数据和指令，例如命令大模型阅读网页的评论并进行总结，这种场景下网页评论是数据，但如果评论中含有恶意的prompt指令，如发送照片到某个邮箱，则大模型在处理这个评论时，可能会规划出恶意的任务并执行。

大模型智能体的安全风险可能导致严重的危害，例如造成实际的资金损失，泄露重要的个人数据等。大模型智能体往往具备访问或操作系统的敏感权限，会进一步加剧传统网络安全的风险，例如智能体可被诱导访问挂马网站，然后恶意行为者通过浏览器漏洞入侵手机或PC。

应用框架安全风险

AI应用框架是AI系统重要的组成部分，AI应用框架存在网络安全漏洞可导致AI系统被恶意行为者控制。这类问题的原因是模型的输入输出往往需要插件和工具进行辅助处理。例如AI系统在处理数学运算请求时，会调用并执行AI应用框架的科学计算工具获得精确结果。如果相关插件和工具存在命令注入漏洞或权限配置不当，就会导致攻击者执行恶意代码。针对AI应用框架的恶意行为可能导致严重的后果，恶意行为者通过注入并执行恶意代码可以完全控制AI系统，造成模型文件等敏感信息泄露、盗取用户资产、传播恶意软件或AI系统拒绝服务等风险

算力底座安全风险

硬件层安全风险

利用侧信道技术，从硬件环境，包括CPU、GPU/NPU、DPU，乃至通信的PCIE硬件，窃取关键模型信息。基于侧信道的模型窃取主要是在模型部署运行过程中通过操作系统或硬件等额外信息推断目标模型的机密属性，因此侧信道威胁的主要风险是模型属性推断，而一般恶意破坏者最有兴趣的模型属性就是目标模型架构信息。基于侧信道的模型窃取风险包括Cache侧信道、能耗侧信道、时间侧信道、PCIE侧信道和GPU侧信道等。操作系统层安全风险如同其他类似的软件系统一样，AI系统运行也依赖于底层的操作系统、驱动等系统软件的支持。很多应用层软件不保护其模型，即使对于那些保护和加密模型的应用程序，恶意行为者能够通过简单的动态分析技术从应用层中提取模型。因此，当权限配置不当，或恶意破坏者利用漏洞等技术获取到较高的系统权限后，即可窃取许多商业产品中的模型，包括用于人脸识别、活体检测、身份证/银行卡识别和恶意软件检测等场景模块。在AI计算环境中，普遍采用GPU/NPU加速模型（训练/推理）运算。因此，恶意行为者也可利用特定GPU驱动中潜在的漏洞，从而实现代码执行、权限提升、模型窃取和数据篡改等恶意行为。

第三方件安全风险

当前AI领域已经演化成为了复杂的生态，AI计算环境中往往包含着大量不同的软件组件，从而有可能成为潜在的威胁面。例如，AI系统中存在着大量的开源、第三方组件。恶意行为者完全可以通过找到组件的0day或未及时修补的漏洞，实现代码执行、模型窃取等恶意行为。此外，当前AI计算生态中普遍采用docker等容器技术来简化训练、部署、推理的流程，并利用KubeFlow框架将机器学习任务部署到Kubernetes集群中。而Docker却长期面临着文件系统隔离、进程与通信隔离、设备管理与主机资源限制、网络隔离和镜像传输等方面的安全威胁，稍有配置不当，就会导致容器逃逸、权限滥用等恶意行为，直接威胁到AI的关键模型与训练数据。

随着生成式人工智能（AIGC）的发展，AI逐渐变为持续运营的在线服务。上述的数据、模型、AI应用和算力底座面临的网络安全风险，将不仅仅局限于开发、部署阶段，而是长期存在于AI系统的运营阶段，面临着恶意行为方法持续演进、快速迭代和动态攻防的严峻挑战。

人工智能网络安全治理实践

网络安全风险管理考虑的因素和方法适用于AI系统的设计、开发、部署、评估和使用。网络安全和隐私保护风险也被视为更广泛的企业风险管理考虑因素的一部分，其中包含AI风险。

网络安全与隐私保护治理整体原则和职责

人工智能网络安全与隐私保护治理由成熟的网络安全与隐私保护组织体系负责，主要治理原则是：

安全为本：将支撑与保障客户和自运营业务的网络安全与隐私保护作为业务的基本要求来对待，并保证网络安全与隐私保护需求得到充分的资源投入。
合法合规：遵守国家法律法规和行业标准要求，确保AI业务的合法合规运行。
融入业务：网络安全与隐私保护保障活动需要融入到各相关业务的政策、流程、规范、基线中，使之成为业务的基因，为客户提供安全可信的产品、解决方案和服务，保障业务成功。
主管担责：各级业务主管是所辖业务网络安全与隐私保护的第一责任人，各级流程责任人是所辖流程网络安全与隐私保护的第一责任人。
全员参与：所有员工具备网络安全与隐私保护意识和能力，在自身业务中落实网络安全与隐私保护基本要求。每个员工都要对自己所做的事情和产生的结果负责，不仅要对技术负责，也要承担法律责任。
独立验证：信任应基于事实，事实必须可验证，而验证必须基于共同标准。在此基础上，基于“不假定任何事情，不相信任何人，检验所有应检查的事项”理念，分层进行独立评估与验证。
开放合作：秉承开放透明的态度，真诚地与客户、供应商、合作伙伴、行业组织等利益相关方积极开展网络安全与隐私保护沟通与合作，责任共担、能力共建、价值共享，共同应对网络安全与隐私保护威胁与挑战。
持续优化：网络安全与隐私保护是一个持续的风险管理和能力建设过程，不存在绝对的安全，也不存在一劳永逸的方案，需要适时审视不足，持续改进网络安全与隐私保护管理和技术措施的适宜性、充分性和有效性。

网络安全与隐私保护组织体系工作职责

合规与风险管控：建设完善的网络安全与隐私保护合规体系，明晰合规责任，遵从所有适用的网络安全与隐私保护法律法规，一国一策，构建合规快速响应能力，风险受控不蔓延。
产品安全隐私保障：沿着E2E流程构筑产品安全可信，产品安全责任界面清晰，客户公平无歧视。
安全运营：基于“责任清晰、业务当责”和“分类管理、分级防护”的原则持续完善运营类业务的管理制度和流程，提升网络安全运维运营能力，强化落实执行、业务自查、内部独立监督检查，保障业务守法合规、安全运营。
沟通与信任构筑：“聚焦、务实、灵活有效”，通过沟通构筑信任，通过建立完善有效的沟通机制，获取利益相关方的信任，支撑业务开展。

在网络安全与隐私保护整体基调之下，遵循网络安全与隐私保护8大治理原则，落实网络安全与隐私保护的4大工作职责。结合业界标准和公司既有实践，采用治理加上嵌入式管理的工作方法，以实现AI网络安全风险管控和合规合法的目标，构建人工智能网络安全治理的架构。

合法合规

伴随着AI技术的发展和爆发式的广泛应用，对AI的监管要求也逐步地完善起来，全球各地逐步发布了AI相关的法案。基于法律要求，作为战略性框架和基线以保证网络安全合规要求被融入到端到端的业务实践以及产品生命周期管理中，从产品开发一直到服务交付和支持服务。确保AI系统遵从适用的国家和地区网络安全法规。理管理在治理管理上达到明确责任管控风险目标，通过深入的AI业务风险评估和分析，预防和减少AI业务中可能出现的网络安全和隐私保护问题，确定各方责任边界，并不断度量、验证和评估结果达成情况，同时基于AI业务主要场景进行应急危机演练，促进AI网络安全治理水平的持续提升。

流程融入

参考国际法规、标准和优秀实践，在研发、营销、服务、供应、采购和制造等流程中逐步融入并持续优化AI网络安全治理要求，端到端全流程管控AI风险，最终达成AI系统的质量目标。

以研发IPD流程为例，在产品开发的“产品管理”阶段输出“产品AI治理要求定义”中明确网络安全与隐私保护要求，开展AI场景及应用风险分析，识别AI风险，规划消减需求，在其后系统设计、资料、集成验证、营销等环节落地风险消减需求和举措，实现风险消减。AI模型开发流程定义了从数据收集、入库、存储、训练、应用等数据生命周期规范和追溯要求，为AI数据真实、可追溯定义了执行标准，使AI开发过程有指导，过程可控。建立AI数据集和模型的元数据标准，基于产业特点进行适配优化并统一AI开发、构建工具链，实现AI作业过程全在线，构建从原始数据、数据集、模型和软件E2E可追溯能力，支持数据集可管控、模型可追溯。达成AI产品的开发全流程有指导，网络安全风险可控，AI产品发布时可销售、可交付、可运维。

工程能力

制定涵盖AI安全的工程能力建设框架，持续构建网络安全工程能力，覆盖全栈安全防护技术，以软件安全工程能力为基石，重点推进数据安全工程能力和模型安全工程能力。数据安全工程能力包括但不限于数据的收集、存储、处理和传输等各个环节的安全防护措施，如采用先进的数据加密技术、访问控制机制和数据脱敏处理，以防止数据泄露、篡改和滥用，确保数据的完整性和机密性等。模型安全工程能力包含模型安全评估、对抗性攻击防御和模型加固等，提高AI模型的鲁棒性和抗攻击能力。

AI系统安全运营和运维

在AI系统运营和运维阶段，重点保护大模型系统所涉及的训练数据、模型、生成内容的全生命周期安全，构建大模型恶意行为态势感知系统，提升拦截能力，对现网系统进行统一运营。

1. 构建在线检测能力库

聚焦高危恶意行为模式的检测方案，构建prompt攻击模式检测、恶意意图检测、恶意行为规则等实时检测能力，建立目标劫持、对抗Tokens反向诱导等prompt攻击模式库，构建内容不合规、侵犯个人隐私肖像等恶意意图模式库。

2. 离线检测能力库

构建集成多种检测方案（规则、分类模型、LLM检测能力）的离线检测系统。

3. 恶意行为检测（用AI保护AI）

在硬件基础上建立攻击检测引擎，可在离线和在线态下进行恶意行为检测，该引擎利用基于深度神经网络（DNN）的特征检测模型，对推理请求进行特征提取和攻击模式匹配，同时提供物理对抗样本和大模型提示注入等AI攻击感知能力。

4. 可信审计

在算力运行环境中，通过基于密码学中的Merkle树机制将完整性证据保存到硬件安全的区域，构建了AI系统日志可信审计的基础，确保恶意行为者和恶意的运维人员篡改日志文件的记录后，能够高效检测到日志完整性遭破坏，及时预警。