360大模型与智能体风险治理与防护实践｜以模制模打造纵深防御，护航AI业务安全落地

近日，ISC.AI 2025 Agentic SOC：安全运营新范式论坛在北京顺利召开。

论坛聚焦“Agentic SOC”核心议题，汇聚了政府机构、学术专家及行业领袖，系统研讨了智能体技术在安全运营中的实践应用与优化路径，旨在提升安全运营效率与威胁对抗能力，推动形成人机共智的新范式，为破解安全运营难题、实现安全效能跃升提供创新方案。

360集团信息安全中心总经理张睿就“360大模型与智能体风险治理与防护实践”作主题分享，议题基于360集团在大模型研发、智能体落地等AI业务场景中的安全经验积累，系统介绍了可落地的安全防护实践。

议题精彩内容速览

三年三阶段

从合规驱动到生态安全

360集团的AI安全能力建设可为三个阶段：

2023：合规元年

聚焦算法备案、内容安全、提示词注入等传统AI风险，完成0到1的制度与流程建设。

2024：模型攻防元年

建设大模型红蓝对抗能力，通过自己训练微调小模型，聚焦模型训练和样本投毒等模型攻防领域研究和AI基础设施平台安全建设，沉淀大模型的攻防能力。

2025：智能体实战元年

伴随纳米AI、智能体工厂等业务大规模上线，防护重心从“单点模型安全”升级为“系统和应用生态安全”，伴生业务提升AI安全能力。

360集团始终秉持“业务赋能，攻防实战”理念，围绕“业务-风险-平台-实战”主线，基于自身云平台构建了完善的 AI 安全基础设施，形成了一套行之有效的风险治理与防护体系，聚焦核心风险，在生产环境中实现常态化运营，日均守护1.5万卡算力集群、3000+P算力及数十条核心AI业务链路。

核心风险治理

践行“以模制模，原生安全”方法论

面对大模型与智能体技术的快速革新，其应用生态环境也日益复杂。作为 AI 安全领域的深度实践者，360集团在大模型与智能体技术快速发展的三年间，始终伴生在业务产研一线，基于 “攻防本质是成本对抗” 的核心认知，构建了覆盖大模型与智能体的风险治理框架，保障智能体应用生产环境中安全稳定运行。

大模型安全防护框架以内容安全为核心，秉承 “以模护模、以测促防” 理念，训练专业小模型提供内容安全评测和内容安全护栏等关键技术，在事前、事中、事后不断优化检测和防护体系。

智能体安全防护框架则基于原生安全体系，在开发环节设置统一编排上线安全卡点，用人工审批限制智能体应用的超级特权，建立统一的鉴权管理和审计框架，对外部工具和应用的调用过程进行监控审计。

360集团依托对AI 安全和攻防对抗持续研究跟踪、积累安全大数据，基于360大模型安全能力框架（AISF）安全底座，形成覆盖 “模型层 - 基础设施层 - 智能体层 - 应用层” 的纵深防护体系。

落地实践成果

多维度筑牢安全防线

大模型原生与内容安全防护实践

360集团在大模型自身安全方面聚焦模型内容攻防能力，通过对诱导提示词、敏感提示词、黑白名单以及各类攻防数据的标注、治理和积累，训练风险检测模型，在输入层和输出层检测大模型内容安全问题；同时结合蓝军专家经验训练评测模型、攻防模型，持续发现大模型本身的服务安全问题。

在安全运营过程中，360集团提炼核心规则和稳定策略，构筑大模型安全卫士内容安全护栏，对大模型整体输入和输出进行管控，可将开源大模型安全性提升10%～30%。

目前，大模型安全卫士在生产环境中主要部署在两个位置，一是在业务研发环境通过 Restful API 对接，在大模型服务上线前进行安全卡点；二是在内部安全基础设施中，串联 WAF 和 API 网关后端强制接入护栏能力，通过标准干预、敏感词拒答、风险提问识别等5道防线兜底内容安全。

在大模型安全卫士的防护基础上，360集团也构建了 “蓝军专家 + 自动化工具” 的人机协同评测模式，对大模型内容风险进行查漏补缺。

内容安全评测由AI安全蓝军专家主导风险策略管控，自动化工具依托360互联网业务多年来的内容合规数据积累，形成了一套对大模型输出内容的安全测评指标体系。二者协同完成风险测评，形成自动化报告，通过 “评测 - 优化 - 再评测” 持续提升防护能力。

大模型基础设施安全防护实践

大模型基础设施依赖开源生态，因此也存在大量典型漏洞和安全问题，对此，360集团则继续沿用传统安全防护思路，基于原有安全经验和实践，通过对大模型基础设施的系统、组件和应用持续进行监测和扫描，转化成基础设施资产漏洞管理问题，并基于360本脑安全大脑进行统一资产漏洞运营管理。

大模型智能体安全防护实践

纵观当前智能体风险整体格局，360集团覆盖应用层 - 智能体层 - 模型层 - 基础设施层全链路，聚焦四大核心风险特点，并针对性制定防护方案，形成从风险识别到管控的闭环。

1. 提示词注入：较直接注入更为隐蔽，可源自第三方组件等外部环境，能绕过前端检测并篡改智能体核心指令。

2. 记忆风险：智能体记忆依赖向量库等存储，攻击者篡改相关数据会导致其基于错误信息决策，影响运行安全。

3. MCP 供应链风险：MCP 开放协议可导致本地组件漏洞、云端插件恶意代码等经供应链传导，形成规模化风险。

4. 智能体通信风险：智能体通信还需依赖 MCP 专属协议，攻击者可劫持协议数据包篡改内容，或伪造身份 “伪协作”，突破权限访问核心资源。

针对上述风险，360集团从技术防护与治理管理两方面，提供如下技术应对路线：

技术防护：聚焦MCP特有风险精准防护

提升提示词注入与 MCP 投毒识别能力，依托蓝军大模型生成绕过场景测试集，定期发起提示词注入攻击，以攻促防。
强化供应链与恶意代码识别。持续监测第三方 MCP 更新、完善生态管理与版本控制，结合端侧反病毒引擎及沙箱保障运行安全。

治理管理：安全左移，供应链级安全管控

开发测为智能体制定严格的命名规范与追溯机制，确保每个 Server 唯一性与可追溯性。用户侧对产品服务用户的MCP标识可信信息标注，辅助用户识别可信度、降低误用风险。
云端服务开发遵循DevSecOps流程；推行MCP开源规范、MCP/智能体安全SDK；将白盒检测等能力封装为MCP工具嵌入研发流程，辅助研发和业务团队修复漏洞。
实施统一的认证和权限治理。通过黑白盒检测提取后端接口，并自动化判断鉴权逻辑，搭建智能体统一认证鉴权框架，收敛记忆向量数据库权限。

MCP 工具专项防护实践

MCP 在调用过程中存在不可信任边界，攻击者可以利用工具描述投毒、恶意代码投毒，间接影响到智能体安全。360集团基于这两大风险点进行了专项防护实践：

在工具描述投毒检测方面，通过自动化扫描引擎提取工具描述，通过匹配关键字、语义相似度阈值判定是否命中恶意特征；同时结合LLM研判模型做二次研判。

在工具运行环节，依托云端病毒查杀能力在沙箱监测行为，用纳米智能体沙箱等隔离容器控制代码 / 脚本执行。

此外，360集团依然通过 “红蓝对抗” 持续验证防护有效性：蓝军模拟上述典型风险发起攻击，红军基于实战结果优化检测规则与防护策略，确保防护体系与威胁演变同步迭代。

筑牢安全防线

安全拥抱大模型技术革命

数字化的核心是智能化，大模型是新质生产力，智能体应用的全新特性呈现出多层次、多维度的复杂态势，这就要求我们必须坚持技术与治理双管齐下。

360集团将继续通过持续的实践探索与生态安全能力沉淀，不断夯实智能体安全防护的根基，以实际行动推动智能体安全可信发展，为人工智能产业的健康前行贡献坚实力量。

产品咨询

大模型安全卫士

专注大模型内容安全防护，基于“以模护模”“以测促防”的设计理念，提供智能判定机制、风险内容检测、敏感问题代答、内容安全测评等关键技术。