2024 TechWorld | 智·启时代 第二届AI安全主题论坛精彩回顾

绿盟科技集团副总裁曹嘉在致辞中表示，AI将带来新一轮科技革命和产业变革，堪称一场现代工业革命。回顾安全行业的“工业革命”级变革，上一次还是云计算的引入。云技术刚刚出现时，我们便开始探讨云安全，推动基于云的产品孵化与创新。云技术的革新极大提升了安全行业的效率，从复杂的资产发现到可观测性、上下文与图数据技术的应用，都推动了安全行业的进步和盈利能力。然而，国内安全行业未能完全享受到云带来的红利，AI或许能改变这一现状。

作为信息化的重要基础设施，大模型正迅速发展，展现出巨大的安全应用潜力。绿盟科技推出的风云卫AI安全能力平台，已在运营中心及多个部委央企中得到应用，为提升安全运营效率、降低客户成本提供了有力支持。随着技术的不断完善，未来大模型将在自动化测试、漏洞挖掘等领域展现更广泛的应用前景，助力安全行业在智能化方向上迈出关键步伐。绿盟科技将继续携手各界，共同迈向更智能、更安全的时代。

绿盟科技集团副总裁曹嘉 

北京大学人工智能研究院研究员、人工智能安全与治理中心执行主任杨耀东在《大语言的安全与价值对齐》主题演讲中表示，对齐是确保大模型和通用人工智能安全应用的关键。从阿西莫夫的“机器人三定律”到现代AI技术，对齐一直面临广义和狭义目标间的平衡，且在对齐过程中存在外部和内部不对齐问题。当前主流方法包括基于人类反馈的强化学习（RLHF），但这一方法在实际应用中耗时长、难度大且成本高。此外，杨耀东分析了OpenAI和Anthropic等公司在AI对齐方面的技术布局，并提出“弹性”特性可能阻碍模型对齐的理论解释。

在大模型的安全对齐上，杨耀东强调了从训练到部署的多层次安全策略：模型部署前，需通过多轮红队测试来发现并修复漏洞；模型训练过程中，则需引入利益无关的安全偏好数据集，确保安全对齐；部署后，须建立负责任的扩展策略，预防潜在系统性风险。杨耀东还介绍了OpenAI o1等新技术在“后训练”范式中的发展趋势，并指出未来AI模型需要在推理过程中融入隐式思维链，以增强模型在复杂任务中的安全性和可靠性，为构建安全、可信的人工智能体系提供新的思路。

北京大学人工智能研究院研究员（博雅学者）、人工智能安全与治理中心执行主任杨耀东

中国信息通信研究院安全研究所数据安全研究部副主任张琳琳在《大模型安全框架及保护措施》演讲中介绍了大模型当前发展现状与安全挑战、大模型安全框架与保护措施、大模型安全检测能力体系及未来安全展望四个方面。随着大模型在我国迅速发展并广泛赋能各行业，其潜在的安全风险也逐渐显现，国际上对此高度重视。本次提出的大模型安全框架围绕四个核心要素：安全目标、安全属性、保护对象与安全措施，构建出实用、整体、前瞻的安全保障体系，以有效应对大模型的基础安全风险。

张琳琳表示，大模型凭借语义理解、意图识别等能力，能够助力解决网络空间中的四大安全痛点，如隐蔽威胁难以发现、数据泄露风险高、违规信息审核难、人才培养成本高等问题。未来，安全大模型将以其自然语言理解与任务编排等能力，通过灵活调用安全技术库与知识库，构建以人工智能安全大模型为核心的多层次安全保障模式，为数字经济的健康发展提供有力支撑。

中国信息通信研究院安全研究所数据安全研究部副主任张琳琳

绿盟科技集团天枢实验室负责人顾杜娟在《大模型在网络安全领域的研究与实践2.0》主题中，介绍了风云卫AI安全能力平台的最新研究和实践进展。顾杜娟指出，风云卫平台不仅仅是一个技术或产品，而是通过AI赋能，专注于解决实际的安全问题，致力于为安全行业提供轻量化、场景化和实战化的智能解决方案。面对安全行业中攻防对抗激烈、专业依赖程度高、实施复杂且投入巨大的痛点，该平台聚焦于实战场景、能力评估和运营策略等，以提升整体智能体水平。

风云卫AI安全能力平台的安全基座模型SecLLM安全能力不断学习提升，逐步从实验室研究走向实战应用。通过稀疏激活技术，SecLLM在百亿参数下实现接近千亿参数的能力；结合模型适配技术，支持端侧设备部署，实现轻量化应用。顾杜娟还提到，基于大小模型协同机制多层次威胁检测，进一步提升了威胁检测的准确性；多智能体架构提供渗透任务分解，渗透工具和渗透路径智能推荐，提升渗透测试的智能化水平；结合多源融合RAG技术，SecLLM将专家级安全知识封装成实战化能力。针对实战场景中的30万漏洞管理、混肴数据的威胁研判以及不同标准规范的合规测评等难题，分别给出了实战化解决方案，为安全行业的智能化发展提供全面赋能。

绿盟科技集团天枢实验室负责人顾杜娟

在《GenAI推动网络安全行业进入新高度》的主题演讲中，IDC中国研究总监王军民指出，生成式AI（GenAI）正在深刻改变网络安全行业，带来机遇与挑战。GenAI被称为“双刃剑”，黑产迅速利用其生成内容（AIGC）提升攻击成功率，尤其在公有云环境中，攻击手段愈发先进复杂。王军民表示，面对新的安全形势，行业需正视挑战，同时积极寻找前行之路。

他强调，GenAI将在安全运营、应用安全、数据安全、风险管理和合规等多个领域发挥颠覆性作用。到2025年，中国40%的2000强企业将在安全运营中心部署GenAI，以支持高级检测与响应并加强隐私保护。到2027年，黑产手段进一步升级，将促使45%的大中型企业采用身份检测和响应方案。同时，AI在数据分类、风险量化和隐私保护技术中的应用，将推动网络安全行业的加速发展。

IDC中国研究总监王军民

百度在线网络技术（北京）有限公司大模型内容安全产品负责人李志伟在《大模型内容安全建设实践》演讲中表示，随着大模型应用的发展，内容安全面临日益严峻的合规挑战。百度基于多项核心能力构建了内容安全平台，包含合规清洗训练语料、内容审核与风险代答、信任域检索增强、多模态安全对齐等技术手段，致力于建立全面、可靠的内容安全保障体系。

李志伟还介绍了百度的内容安全评测体系，通过“以攻促防”的机制，建立了常态化评测流程，持续完善评测数据集，以增强模型对潜在风险的识别和防范能力。该体系确保大模型生成内容的合规性和安全性，帮助在不同应用场景下有效规避违规风险，为大模型的安全发展提供了强有力的支持。

百度在线网络技术（北京）有限公司大模型内容安全产品负责人李志伟

绿盟科技集团天元实验室负责人李文瑾在《大模型应用的安全防御新范式》主题演讲中指出，随着大模型在各类业务场景的普及，传统安全防御体系正面临新的挑战。李文瑾重点介绍了绿盟科技AI大模型风险矩阵2024，覆盖基座安全、数据安全、模型安全、应用安全和身份安全五大核心维度，并结合实际案例分析了大模型应用的核心攻击面，包括身份安全、应用安全和模型安全的风险，为行业提供了系统化的风险防御框架。

会上，绿盟科技AISS（AI Safety and Security）大模型安全社区v1.0版本正式发布。该社区包括国内首个大模型安全知识库，基于绿盟科技风险矩阵构建，帮助企业快速理解和应对大模型全生命周期的多层次威胁。AISS社区提供了AI-Scan大模型风险评估、LLM Guard守卫式检测、MLOps后门扫描等技术支持，立体化地推动企业构建全面的大模型安全防御体系。

绿盟科技集团天元实验室负责人李文瑾

本次第二届AI安全主题论坛由绿盟科技集团首席创新官刘文懋主持。

绿盟科技集团首席创新官刘文懋

在智能时代，我们向更深的安全远航。此次论坛汇聚多方智慧，带来深刻的前沿洞见与实用方案，为安全变革注入新动能。专家们的思想碰撞推动了生成式AI在网络安全领域的创新应用，也为智能与稳固并存的安全生态奠定了坚实基础。面向未来，绿盟科技将继续携手行业，以科技之力护航智能时代，共同构筑更加安全、可信的数字世界。