AI安全新纪元：智能体驱动的网络安全新范式

近日，ISC.AI 2024第十二届互联网安全大会在北京盛大开幕。本次大会以"打造安全大模型，引领安全行业革命"为主题，旨在呼吁行业以大模型重塑安全体系，以保障数字经济的稳健发展。

在企业安全运营与策略实践论坛上，云起无垠创始人兼CEO沈凯文博士受邀出席，并以《AI安全新纪元：智能体驱动的网络安全新范式》为题进行了精彩演讲。沈博士的演讲不仅提供了对当前AI安全领域的深刻见解，也为行业同仁提供了宝贵的思路和启示，共同推动安全行业的创新与发展。

新时代下的安全需求

数字经济和信息产业的迅速发展，在带来技术便利的同时，也加剧了网络安全风险。如今，企业提升安全运营能力的需求极为迫切，且要实现安全建设的常态化、体系化、高效化和实战化。人工智能（AI）技术的应用为安全运营带来了新的破局之法。其通过预测分析、自动化响应以及智能监控等手段，能够帮助企业有效地识别和应对安全威胁。

随着人工智能技术的持续进步，AI 已然成为安全领域创新发展的重要引擎。从传统规则到大数据，再到 AI 的广泛赋能，安全能力与日俱增。大模型赋能安全目前正处于探索阶段，有望为安全领域带来更为精准、智能的解决方案。

在网络安全领域，传统解决方案面临诸多挑战。首先，安全知识的利用存在困难，软件漏洞问题频发。其次，攻防专家资源稀缺，导致安全团队的培养成本高昂，且专业安全人才的培养周期长达5至8年，甚至更长时间。此外，海量数据的分散存储和更新滞后，严重影响了检测效率。安全检测项目和工具虽然众多，但大多数工作仍依赖于人工和专家知识，这不仅导致误报率高，而且审计验证过程高度依赖人工。

为了解决这些痛点，智能体解决方案应运而生。沈凯文博士表示，AI安全智能体通过自动化情报汇聚、策略指导和风险处置，极大提升了安全运营的效率。智能体能够自动整理和实时更新安全知识，基于情报和上下文进行精准高效的决策。同时，智能体还能根据需求推荐本地化安全知识，提高安全知识的利用效率。在多源检测数据的审计验证方面，智能体通过智能化手段减少了对人工的依赖，有效提升了安全有效性验证和告警处置的效率。这些优势表明，智能解决方案正逐步成为提高网络安全运营能力的关键因素。

最懂安全的AI专家智能体

依托技术积累和行业探索，沈凯文博士表示，云起无垠致力于打造最懂安全的AI专家智能体，让新手变专家，让专家更专注。云起安全智能体通过其先进的AI技术和综合智能引擎，为网络安全领域提供了一个全面、高效、可靠的解决方案，推动了安全运营向更高水平的自动化和智能化发展。

其中，云起无垠的安全智能体解决方案创新优势价值主要涵盖如下两点：

· 提升底层的安全能力，降低工具的使用门槛

传统安全解决方案通常依赖于基于特征签名的传统威胁检测和基于算法的告警运营，这种方法容易导致威胁过载和误报漏报问题，人工排查成本高，技术难度大。而智能体方案，可以通过语义的方式收敛原本基于规则无法解决的误报和漏报的问题，提升安全工具的检测准确性，降低了人工排查成本。

· 改变现有安全团队的工作范式，效率更高、成本更低

目前，大多数安全团队仍采用以人为中心的工作模式。一个成熟的安全团队需要多名具备不同技术专长的安全专家，例如渗透测试专家、代码审计专家和漏洞挖掘专家。此外，还需要为专家们配备各种安全工具，如SAST工具、漏洞扫描工具和Fuzzing工具等。当一个安全任务分配给安全专家时，他们需要进行人工分析并使用安全工具来解决问题，这种方式效率低下且效果因人而异。

未来的安全团队可能会由少量的安全专家和智能体组成。安全专家只需下达任务，智能体便会启动其模型能力，结合规划引擎、工具引擎、知识引擎和记忆引擎，自主理解安全需求，并对任务进行拆解与规划，然后使用工具高质量地完成任务闭环。

安全智能体实践

沈凯文博士表示，云起 AI 安全大脑平台集成了工具引擎、知识引擎，还有大模型中的人类语言大模型和机器语言大模型（LLM），能为安全运营提供深度学习与强化学习的智能支持。该体系旨在借助人工智能（AI）技术，给研发工程师、安全工程师和测试工程师等不同角色予以支持，保障从研发至运营各阶段的软件安全，以解决开发安全场景、攻防渗透场景和知识检索场景的需求。

云起无垠基于该领域的研究探索，云起无垠的无极AI安全智能体实践涵盖了技术和应用两个层面。

技术实践一：构建可落地的大模型研发生命周期

沈凯文博士指出，大模型的研发生命周期应包含四个步骤，这与培养“安全专家”的路径非常相似。

第一步：安全数据采集与私有数据积累

这一步着重于大量的安全数据采集和私有数据积累。其过程涵盖数据采集、清洗、标记及入库，最终构建成大模型数据库，此乃安全数据的基础。唯有具备这些数据，方可深入领会安全领域的知识。

第二步：构建基座模型评估机制

第二步是构建全面的基座模型评估机制。鉴于安全任务的特殊性，评估不止包含自然语言处理能力，还涉及代码分析能力、二进制分析能力等不同维度。故而，在模型训练前，建立完备的评估系统极为关键。挑选更适宜的基座模型，有望带来出色的训练效果。此阶段可类比为挑选一位“有潜力的高中毕业生”。

第三步：继续预训练与安全知识监督学习

第三步为继续预训练，并开展安全知识的监督学习。若要让这位“优秀的高中生”投身安全工作，就需其在大学学习网络安全相关专业知识，这类似于继续预训练和监督学习，使基座模型具备更丰富的安全行业知识。历经此步训练，模型便从“高中毕业生”蜕变为“安全专业毕业的大学生”。

第四步：强化学习与安全场景知识增强

对于安全专业的应届大学毕业生而言，直接处理繁杂的安全任务颇为困难，易出现差错，因而需要告知其正确做法，这便是强化学习的效用。在实践中，云起无垠主要采用人类反馈强化学习及与 GPT-4 对齐的方案。完成这些步骤后，虽获得一个智能模型，但在实际运用时，仍需解决安全场景知识增强的问题。这涵盖提示词工程、流程工程、工具调用增强、检索增强生成增强等，分别弥补大模型在工具使用能力和细分领域安全知识方面的短板。经过这一步训练，安全专业的应届毕业生，就成长为能够实时掌握最新领域知识，并高效运用工具的“安全专家”。

通过将这些技术融合，我们最终可以构建出一个真正可用的产品级大模型，再通过外接工具引擎和知识引擎，就可以将大模型在不同的安全场景中实现商业化落地。

技术实践二：构建高可靠且稳定的安全任务交付能力

想要让模型成为智能体，还涉及许多工程化工作，如提示词工程和流程工程。相比从零开始训练一个模型，采用提示词工程和流程工程可以以更低成本提高大模型在交付安全任务时的准确性和高效性。

应用实践一：AI Agent赋能漏洞自动化挖掘

模糊测试是一种公认的强大软件测试技术，能够有效检测安全漏洞。然而，在实际应用中，这一技术面临测试驱动开发难度大、种子变异效率低，以及安全缺陷修复成本高等挑战。在本次应用实践分享中，沈凯文博士重点介绍了云起无垠如何利用智能体来解决模糊测试驱动生成与代码修复问题的方案。

传统的测试驱动生成大多基于专家知识或语法分析，技术门槛高且使用困难。为解决这一难题，云起无垠提出了基于“微调代码模型+代码详细结构+反馈”的驱动生成方案。其核心思路如下：

专家模型训练：根据驱动生成训练语料，训练专用于驱动生成的代码大模型。
驱动生成：通过静态分析引擎提取被测函数的上下文信息，构造生成测试驱动的提示词，再通过强化学习后的代码大模型输出测试驱动代码。
反馈优化：运行生成的驱动，监控运行情况，获取反馈信息，优化生成驱动的提示词，最终实现更高的验证通过率。

经过Google benchmark验证，云起无垠的生成策略生成了24个测试驱动，仅有22%无效驱动，优于Google的方案，表现出更高的可编译驱动比例和更低的无效驱动比例。

应用实践二：AI Agent赋能漏洞自动化修复

在漏洞修复方面，传统漏洞检测工具提供的修复建议通常呈现模板化特点，实际修复工作主要依赖专家经验和人工操作。高危漏洞的修复难度大、时间长，已成为企业的核心痛点。在这种背景下，自动化修复工具成为刚性需求。

通过模糊测试引擎与训练后的代码大模型协同，不仅能够精准定位存在漏洞的代码片段，还能够分析漏洞成因。接着，利用缺陷信息生成提示词，作为大模型的输入。大模型根据这些提示词生成修复代码。更重要的是，模糊测试作为一种动态软件测试方案，可以重新运行漏洞的真实触发用例，验证缺陷修复效果。若漏洞修复失败，则进一步分析缺陷信息，优化测试代码的生成提示词。

经过验证，这一“大模型修复+模糊测试动态验证”的方案保障了代码修复率达到80%左右。

未来展望

人工智能技术已经为网络安全行业带来了前所未有的变革。随着大模型技术与安全智能体方案的日趋成熟，研究人员第一次看到了实现网络安全通用人工智能（AGI）的可行路径。具体来说，沈凯文博士认为，网络安全AGI的发展和落地实践将经历以下几个阶段：

一阶智能-工具型智能体：解决特定任务

第一阶段主要聚焦于安全工具的智能化，即通过大模型、工具引擎和知识引擎的智能体方案，突破底层安全技术的效果瓶颈，提高自动化程度。

二阶智能-平台型智能体：覆盖细分安全场景

第二阶段的核心是通过大模型的理解与规划能力，将一阶的安全能力以工作流的形式进行编排调度，打造平台型智能体解决方案。这种平台型智能体不再仅聚焦特定安全任务，而是更像某个岗位的虚拟安全专家，能够拆解复杂的安全需求，对工作流进行规划，自主调度相应的工具型智能体，独立解决细分场景的所有安全需求。

三阶智能-网络安全AGI：多智能体方案协同，覆盖所有安全场景

从终局上讲，最终实现网络安全AGI的路径将是多二阶智能体方案协同，实现All in One的安全AGI解决方案，覆盖所有网络安全场景，交付所有网络安全任务。

写在最后

人工智能技术的广泛应用，为网络安全领域带来了更多可能性，未来，随着大模型等新兴技术的不断发展，云起无垠将不断加强技术研究与创新，不断探索更多更新的解决方案，应用与网络安全产业中，为行业发展助力。

安全极客是一个致力于信息安全知识共享与交流的专业社区平台，主要围绕GPTSecurity、智能模糊测试、软件供应链安全、红蓝攻防四大主题构建内容分享生态。云起无垠作为联合发起方，欢迎广大安全专家的加入，共同探讨前沿安全技术，促进行业内的知识分享与合作。