前言
2025年9月8日,中国信息通信研究院云计算与大数据研究所(简称“中国信通院云大所”)开源和软件安全部主任郭雪受邀参加ISC.AI 2025上海AI峰会,并于大模型安全论坛上发表主题演讲。
9月8日,ISC.AI 2025 上海大模型安全论坛在上海外滩FTC成功举办,论坛现场,京、沪两地政府代表、学术专家、企业领袖及行业同仁齐聚,聚焦大模型安全发展的关键议题展开深入交流,共同探讨AI安全治理体系的构建策略与产业实践路径。
中国信通院云大所开源和软件安全部主任郭雪受邀参会,以《云上人工智能安全思考与洞察》为引,从云上人工智能的发展历程入手,分析了云上人工智能在多种应用场景中发展所面临的安全风险,系统梳理了当前云上人工智能安全产业的发展现状,就云上人工智能安全治理路径展开了多维度的深入探讨,并对云上人工智能安全的发展趋势做出了展望。
郭雪指出,面对人工智能带来的新型安全威胁,传统安全工具可能难以有效应对,AI对抗AI已成未来。AI加剧网络攻防失衡,产业亟需破解智能化安全技术难题。当前,安全产业正以人工智能为引擎,驱动技术与产品双向升级,推动安全体系需向内生防御、主动智能和韧性自治转型。
依据标准开展测试评估,构建能力检验闭环
中国信通院持续开展云上人工智能安全相关研究工作,通过标准建设、测试评估、行业研究、咨询赋能等多种方式赋能云上人工智能安全产业发展。
一、可信AI云 大模型安全能力相关评估
中国信通院汇聚产学研用各方智慧,致力于构建覆盖基础设施安全、模型安全、数据安全与内容安全等全生命周期能力要求的标准体系,并适配一体机、私有化部署、MaaS等多种应用场景,实现全方位、全场景的安全标准覆盖。
中国信通院已牵头撰写可信AI云大模型安全系列标准,并推出大模型安全系列评估。
1
大模型基础设施安全能力评估依据《可信AI云 大模型基础设施安全能力要求》,针对大模型基础设施层面,主要包括安全运维、身份与访问控制、网络安全、存储安全和云平台安全五个维度。
2
大模型模型安全能力评估依据《可信AI云 大模型模型安全能力要求》,针对大模型模型层面,主要包括云上大模型训练数据安全、模型架构安全、模型对抗安全三个维度。
3
大模型内容安全能力评估依据《可信AI云 大模型内容安全能力要求》,针对大模型内容安全层面,内容安全主要关注敏感信息识别、违规内容过滤、模型输出安全、数据合规等方面。
4
大模型推理部署安全能力评估
大模型推理部署安全能力评估依据《可信AI云 大模型推理部署安全能力要求》,针对大模型推理部署层面,主要包括推理环境安全、接口与调用安全、资源与合规安全三个维度。
5
大模型系统安全能力评估
大模型系统安全能力评估依据《可信AI云 大模型系统安全能力要求》,评估针对大模型训练、推理、部署的系统层面,主要包括主机安全、网络安全、运维安全三个维度。
6
大模型MaaS平台安全能力评估依据《可信AI云 大模型MaaS平台安全能力要求》,针对大模型MaaS平台,主要关注平台接入安全、租户隔离、访问控制、数据保护和运维安全等方面。
7
大模型一体机安全能力评估依据《可信AI云 大模型一体机安全能力要求》,针对大模型一体机,主要关注设备物理安全、系统加固、访问控制、数据保护和远程运维安全等方面。
8
大模型接口安全能力评估
大模型接口安全能力评估依据《可信AI云 大模型接口安全能力要求》,针对大模型服务的接口层面,主要包括技术安全能力、数据安全能力、业务应用安全能力三个维度。
9
模型上下文协议(MCP)应用安全能力评估
模型上下文协议(MCP)应用安全能力评估依据《可信AI云 模型上下文协议(MCP)应用安全能力要求》,针对模型上下文协议(MCP)层面,主要包括身份认证与访问控制、数据保护与加密、应用与协议安全、日志记录与监控、漏洞安全管理五个维度。
二、可信AI云 智能体质效与安全能力相关评估
为推动智能体的落地实践,筑牢智能体安全屏障,中国信通院结合既有工作经验与行业需求,牵头编写《可信AI云 智能体质效与安全能力要求》系列标准,并启动可信AI云 智能体质效与安全能力系列评估。
1
智能体开发平台质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第1部分:智能体开发平台》,针对智能体开发平台展开,主要包括应用开发、模型管理、知识管理、平台管理、安全能力、应用监控、插件支持、提示词与记忆功能管理等方面。
2
通用智能体质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第2部分:通用智能体》,针对通用智能体产品展开,主要包括基础设施安全、模型接入与管理、知识库集成与检索增强、插件和MCP服务接入、长期记忆管理、应用创建与配置、内容安全与风险管理、发布与运维安全等方面。
3
多智能体协同质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第3部分:多智能体协同》,针对多智能体系统产品展开,主要包括功能有效性、分布式协同、模型管理、插件和MCP接入、资源管理、知识库集成与检索增强、安全能力等方面。
4
多模态智能体质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第4部分:台多模态智能体》,针对多模态智能体产品展开,主要包括模态处理能力、跨模态融合能力、任务执行能力、模型管理、插件和MCP接入、知识库集成与检索增强、资源管理、安全能力等方面。
5
行业智能体质效与安全能力评估
行业智能体质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第5部分:行业智能体》,针对行业智能体产品展开,主要包括政务、交通、银行、保险、证券、电商、教育、医疗以及运营商等。
6
任务型智能体质效与安全能力评估
任务型智能体质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第6部分:任务型智能体》,针对任务型智能体产品展开,主要面向智能客服、数据分析、智能投顾、生产调度、内容生产等特定任务场景。
三、可信AI云 大模型安全防护产品能力相关评估
为推动大模型应用落地实践,筑牢应用安全屏障,中国信通院结合过往工作经验积累,牵头撰写《可信AI云 大模型安全防护产品能力要求》系列标准,并启动可信AI云 大模型安全防护产品能力系列评估。
1
大模型内容安全防护产品能力评估依据《可信AI云 大模型内容安全防护产品能力要求》,针对大模型内容安全防护产品展开,主要包括内容风险识别、内容检测分析、内容安全防护、安全管理等方面。
2
大模型应用防火墙能力评估依据《可信AI云 大模型应用防火墙产品能力要求》,针对大模型应用防火墙产品展开,主要包括应用接入、内容安全防护、业务安全防护、基础安全防护等方面。
3
大模型安全网关能力评估依据《可信AI云 大模型安全网关产品能力要求》,针对大模型安全网关产品展开,主要包括统一API调用、智能调度、全链路可观测、安全防护、内容安全、模型管理等方面。
4
大模型安全防护围栏能力评估
大模型安全防护围栏能力评估依据《可信AI云 大模型安全防护围栏产品能力要求》,针对大模型安全防护围栏产品展开,主要包括身份认证与权限管控、输入输出安全、数据全生命周期安全、抗攻击与资源防护、模型自身安全、合规审计、运维管理能力等方面。
5
大模型系统安全防护产品能力评估
大模型系统安全防护产品能力评估依据《可信AI云 大模型系统安全防护产品能力要求》,针对大模型系统安全防护产品展开,主要包括系统后门检测、恶意程序防护、系统漏洞防护、内核安全防护、系统权限管控、系统服务保护、应用完整性校验、应用漏洞防护、应用隔离防护等方面。
6
大模型安全扫描产品能力评估
大模型安全扫描产品能力评估依据《可信AI云 大模型安全扫描产品能力要求》,针对大模型安全扫描产品展开,主要包括扫描能力,AI智能体代码审查能力,AI供应链风险审查,修复与闭环能力,IDE与开发流程集成,CI/CD与自动化运维能力,报告、告警与治理工作流,权限认证与审计,可部署型、隔离与运维能力等方面。
7
大模型安全测试系统质效评估
大模型安全测试系统质效评估依据《可信AI云 大模型安全测试系统质效评估办法》,评估针对大模型安全测试系统进行能力检验,主要聚焦安全评估、安全加固、资产管理等核心能力的系统性检验。
云上安全智能体作为连接大模型与实际业务场景的核心载体,云上安全智能体的自主决策、多模态交互等能力已成为行业发展的关键焦点。为推动云上安全智能体技术标准化、规范化发展,中国信通院云大所可信安全团队牵头撰写《可信AI云 安全智能体能力要求》。标准聚焦云上安全智能体的核心能力,覆盖通用场景以及智能威胁检测、智能安全运营、智能数据安全、智能代码安全、智能知识问答等关键场景,助力企业构建云上安全智能体应用体系。
1.智能威胁检测能力
聚焦智能体对未知攻击模式的实时识别与深度解析能力,评估检验其准确率与响应时效性。
2.智能安全运营能力
评估智能体在复杂网络环境中的策略制定与执行效率,检验其在复杂场景下的动态响应机制与应急处置效能。
3.智能数据安全能力
检验智能体对敏感数据的全生命周期防护能力及合规性管理机制,包括数据加密传输、访问控制策略及行业合规标准的适配性检验。
4.智能代码安全能力
评估其代码缺陷自动检测、第三方组件漏洞预警及修复建议生成能力,检验漏洞识别覆盖率与修复方案可行性。
5.智能知识问答能力
检验安全知识库的实时调用与交互能力,包括对攻防技术、合规要求、漏洞情报的精准问答。
中国信息通信研究院作为秘书单位,持续推进IEEE 3410-2025 《IEEE Guide for Large-Scale Financial Risk Management Models》国际标准的撰写工作,现标准已正式发布。中国信通院在国际标准框架基础上,结合国内金融风控产业发展实际情况,开展国内标准《可信AI云 金融风控大模型能力要求》的研讨和编制工作。目前已形成“国际标准+国内标准”双映射完整体系评估,面向通用欺诈保护、设备风险识别、反爬虫及应用威胁情报等典型场景,围绕数据准备、模型建设、模型部署适配、模型迭代四个维度展开。
为应对人工智能技术加速云化部署带来的安全挑战,中国信通院已启动“云上人工智能安全治理评估及咨询计划”(Cloud AI Security Plan,CASP),CASP计划以“安全风险检验服务”“规划建设服务”与“评估检验服务”为核心抓手,面向人工智能安全技术的供需双方,打造覆盖云上AI全生命周期的安全治理闭环。
1.安全风险检验服务:精准识别全环节隐患
围绕云上AI基础设施、接口安全、内容安全及开源组件风险四大维度,开展风险检验,帮助企业弱化风险自查盲区,筑牢安全基线。
2.规划建设服务:夯实安全治理顶层设计
从安全治理战略规划、团队能力建设规划到全生命周期安全架构规划,提供体系化支撑。
3.评估检验服务:对标典型实践,实现能力跃升
基于中国信通院标准积累与典型实践,提供“评估+分析”双向赋能:
标准评估检验服务:基于完善评估体系,针对云上AI安全能力及云上AI安全产品开展标准化评估检验服务,为通过企业提供相关能力评估报告及证书;
能力提升分析服务:针对企业云上AI安全现状开展深度评估,交付差异性分析报告,精准识别差距并提供优化建议,助力企业实现安全能力跃升。
中国信通院持续开展云上人工智能安全相关研究工作
中国信通院持续开展云上人工智能安全相关研究工作,系统推进云上人工智能安全标准建设、评估测试、产业研究、咨询赋能等相关工作。中国信通院愿与各方携手共进,在人工智能的浪潮中筑牢安全防线,为数字经济高质量发展注入更坚实的安全动能,护航智能时代的可信发展之路。
业务联系人
卫斌 | 开源和软件安全部 副主任
云计算与大数据研究所 | 中国信息通信研究院
电话:18618259777
马铭洋 | 开源和软件安全部
云计算与大数据研究所 | 中国信息通信研究院
电话:18600235069
长按二维码关注
链接云端,可信而安
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...