前言
2025年10月15日,中国信息通信研究院云计算与大数据研究所(简称“中国信通院云大所”)开源和软件安全部副主任卫斌受邀参加腾讯云“大模型与智能体时代安全底座的重构与云生态的协同进化”深度对话,与电子科技大学信息与软件工程学院副研究员、硕士生导师曹明生,腾讯云安全总经理苏建东齐聚直播间,共同探讨数字安全的新态势、新底座和新实践。
AI安全新态势:“牵一发”易“动全身”
大模型与智能体加速了AI技术与产业的结合,也将系统安全、信息安全、内容安全甚至决策安全暴露在更多的风险中。今年8月国务院发布《关于深入实施“人工智能+”行动的意见》,在总体要求中将安全管控作为与创新发展并列的核心原则。提出“推动模型算法、数据资源、基础设施、应用系统等安全能力建设,防范模型的黑箱、幻觉、算法歧视等带来的风险,加强前瞻评估和监测处置”,并强调“建立健全人工智能技术监测、风险预警、应急响应体系”。AI安全相关政策已逐渐规范落地,治理体系逐步构建完善,体现出发展与安全并重的治理理念。
企业面临多元复杂风险,既有传统网络安全问题,也有大模型引发的系统重构、伦理道德、数据泄露等新风险,且“未知”漏洞与AI驱动的快速攻击,使人工防护难以应对,这可能会使得部分企业在安全防护的认知深化与准备工作上有所不足,进而对整体安全能力的提升形成一定影响。
中国信通院持续开展云上智能体安全相关研究工作,通过标准建设、测试评估、行业研究、咨询赋能等多种方式赋能云上智能体安全产业发展。
依据标准开展测试评估,构建能力验证闭环
可信AI云 智能体质效与安全能力相关评估
为推动智能体的落地实践,筑牢智能体安全屏障,中国信通院结合既有工作经验与行业需求,牵头编写《可信AI云 智能体质效与安全能力要求》系列标准,并启动可信AI云 智能体质效与安全能力系列评估。
智能体开发平台质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第1部分:智能体开发平台》,针对智能体开发平台展开,主要包括应用开发、模型管理、知识管理、平台管理、安全能力、应用监控、插件支持、提示词与记忆功能管理等方面。
通用智能体质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第2部分:通用智能体》,针对通用智能体产品展开,主要包括基础设施安全、模型接入与管理、知识库集成与检索增强、插件和MCP服务接入、长期记忆管理、应用创建与配置、内容安全与风险管理、发布与运维安全等方面。
多智能体协同质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第3部分:多智能体协同》,针对多智能体系统产品展开,主要包括功能有效性、分布式协同、模型管理、插件和MCP接入、资源管理、知识库集成与检索增强、安全能力等方面。
4.行业智能体质效与安全能力评估
行业智能体质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第5部分:行业智能体》,针对行业智能体产品展开,主要包括:
政务行业智能体质效与安全能力评估
交通行业智能体质效与安全能力评估
银行行业智能体质效与安全能力评估
保险行业智能体质效与安全能力评估
证券行业智能体质效与安全能力评估
电商行业智能体质效与安全能力评估
教育行业智能体质效与安全能力评估
医疗行业智能体质效与安全能力评估
通信行业智能体质效与安全能力评估
其他行业智能体质效与安全能力评估等......
5.任务型智能体质效与安全能力评估
任务型智能体质效与安全能力评估依据《可信AI云 智能体质效与安全能力要求 第6部分:任务型智能体》,针对任务型智能体产品展开,主要包括:
智能客服任务智能体质效与安全能力评估
数据分析任务智能体质效与安全能力评估
智能投顾任务智能体质效与安全能力评估
生产调度任务智能体质效与安全能力评估
内容生产任务智能体质效与安全能力评估等。
其他任务型智能体质效与安全能力评估等......
“可信AI云”安全系列评估通过企业
扬州市大数据管理中心
阿里云飞天(杭州)云计算技术有限公司
天翼云科技有限公司
联通数字科技有限公司
天翼安全科技有限公司
中国移动香港有限公司
科大讯飞股份有限公司
上海商汤科技开发有限公司
北京启明星辰信息安全技术有限公司
北京金山云网络技术有限公司
“可信AI云”智能体质效与安全系列评估报名流程
1
报名时间
即日起-11月15日截至
2
材料提交
11月-12月
3
评估审查
11月-12月
4
专家评审
12月
5
结果发布
评估结果预计将于2025年12月AI安全相关会议上正式发布。
业务联系人
马铭洋 | 开源和软件安全部
云计算与大数据研究所 | 中国信息通信研究院
电话:18600235069
卫 斌 | 开源和软件安全部 副主任
云计算与大数据研究所 | 中国信息通信研究院
电话:18618259777
长按二维码关注
链接云端,可信而安
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……




还没有评论,来说两句吧...