精彩回顾|AI+Security之大模型&网络空间安全前沿探索

2024年是大模型发展的元年，百花齐放、百家争鸣。在这样的背景下，人工智能与网络安全领域的结合催生了两大新兴领域：大模型赋能安全和大模型内生安全。那么，这种结合又带来哪些新的动态和前沿探索呢？

针对上述问题，安全极客和Wisemodel社区联合发起并主办了“AI+Security”系列第1期：大模型与网络空间安全前沿探索线下活动。这场活动旨在汇聚行业精英，共同探讨AI与网络安全融合的最新进展和未来趋势。

本次活动邀请了清华大学博士生导师、助理教授陈建军，阿尔法公社创始合伙人兼CEO许四清，云起无垠创始人兼CEO沈凯文，墨云科技合伙人彭逍遥，月之暗面安全工程师麦香和安全资深专家宁宇飞，一起探讨了大模型与网络安全的技术应用与研究，带来了专业的技术分享，并收获了与会者的一致好评。

活动伊始，始智AI Wisemodel社区创始人兼CEO刘道全先生在开场致辞环节，对与会者的到来表示热烈的欢迎，随后简明扼要地介绍了本次活动的主题和社区联合举办此次活动的初衷，希望与业界同仁共同探讨和交流AI与Security结合的技术理念及其在实践中的应用，以促进知识的共享和行业的发展。

01 安全智能体的前沿技术研究与实践

随着人工智能技术的不断进步，AI成为安全领域创新发展的重要引擎。从传统规则到大数据，再到AI的广泛赋能，安全能力日益增强。当前，大模型赋能安全正处于探索阶段，其潜力巨大，有望为安全领域带来更加精准、智能的解决方案。然而，大模型在安全场景的应用中存在幻觉和鲁棒性问题，距离理想状态还有一定差距。

在这样的背景下，云起无垠创始人兼CEO沈凯文认为，AI Agent是解决LLM落地应用痛点的最佳途径。通过提升AI Agent的理解力和泛化能力，使其能更好地处理多种任务和上下文信息。这将增强AI智能体的自然语言处理能力，从而提供更个性化、连贯的交互体验。

相比传统的安全解决方案，安全智能体方案具有显著的优势。传统的威胁检测方法依赖于特征签名和静态规则，误报、漏报严重，需要进行人工的研判。而智能体通过动态学习和优化，可以有效减少误报，提高威胁检测的准确性和效率。此外，智能体方案，也将颠覆传统“人+工具”的工作模式，显著提升安全任务的处理效率，降低人力成本。

02 AI赋能下的自动化攻防

攻防实战一直是网络安全行业的主旋律，也是双方检验技战法的重要手段。在小模型时代，攻击者通常参照cyber kill-chain模型进行安全攻击，此阶段的AI主要赋能验证码识别、登录页面识别、攻击路径决策以及组合和迭代攻击。

随着GPT大模型的兴起，大模型赋能安全后，在自动化攻防中发挥了许多作用。墨云科技合伙人彭逍遥先生指出，在大模型时代，AI在攻击决策、漏洞分析及可视化分析等方面都发挥了重要作用。此外，多模态模型和开源大模型也展示了其解决工程化难题的能力。最后，彭逍遥先生还分享了未来自动化攻防存在的三大趋势。

03 月之暗面安全实践思考

自大模型兴起并迅速走红以来，依托大模型研发设计的产品和工具层出不穷，旨在为用户提供更好的服务。国内AIGC产品的典型代表月之暗面，作为其中的佼佼者，展示了强大的实力，被广泛关注。然而，大模型的快速发展也伴随着网络安全问题，如何保证大模型的安全及其工具的安全使用显得至关重要。

月之暗面的安全工程师麦香老师结合公司的安全实践，详细分享了大模型在网络安全、数据安全、应用安全和访问控制等方面面临的问题，并针对OWASP LLM TOP10问题及其应对措施进行了深入阐述。此外，他还介绍了目前在云安全、LLM安全实践和外部能力生态共建等方面的措施，以确保月之暗面Kimichat工具的安全使用。

04 大模型安全边界: 揭秘提示注入攻击、会话共享漏洞与AI幻觉毒化策略

随着大语言模型（LLMs）和AI的普及及广泛应用，确保模型的输入和输出安全至关重要。资深安全专家、Kelp AI Beta作者宁宇飞分享了在商业AI中最常见的三种安全攻击：提示注入攻击、会话共享漏洞和AI幻觉毒化策略。他详细介绍了这三种攻击的具体方式和实践案例，并讨论了关键挑战和未来方向。

宁宇飞先生表示，未来我们需要重点关注大模型的涌现能力。这种能力的安全性几乎等同于大模型的安全性，既可能是有益的、良性的，也可能是潜在的有害的。无论是哪种情况，涌现能力都很难预测，直到它们表现出来。

05 圆桌讨论：《大模型+网络空间安全前沿探索》

在圆桌讨论中，清华大学博士生导师、助理教授陈建军，阿尔法公社创始合伙人兼CEO许四清，云起无垠创始人兼CEO沈凯文，墨云科技合伙人彭逍遥，月之暗面安全工程师麦香和安全资深专家宁宇飞，共同探讨了大模型和网络安全前沿探索中的几个关键问题。

1. 如何解决大模型的幻觉问题，以提升其在B端应用中的鲁棒性和正确性，使其达到商业可用标准？

2. 在网络空间安全领域，大模型的应用与商业化正在积极探索中。专家们认为“安全+AI”的未来应用方案将朝哪个方向发展？是垂直模型、智能体，还是其他形态？

3. 随着大模型智能安全产品的能力、自动化程度和自主决策能力的增强，未来的智能安全产品能否替代企业中的安全从业者？未来的安全团队将如何工作？

在讨论中，嘉宾们分享了他们的专业见解和认知，帮助我们对上述关键问题有了更深入的理解。

写在最后

本次分享活动干货满满，深入探讨了大模型赋能网络安全后存在的安全问题、带来的重大改进以及未来可能的技术发展趋势。这不仅是网络安全行业的一次重要进步，也是对大模型的前沿探索的一次重要总结。关于本次活动嘉宾的精彩分享，我们将会逐一整理并发布，敬请期待！

"AI+Security"系列第二期专题分享嘉宾火热报名中。我们诚挚邀请来自人工智能（AI）和网络安全领域的行业专家与领军人物，共同参与分享。一起深入探讨并分享关于"AI+Security"技术理念的见解和经验。我们期待您的加入，一起推动AI与安全技术的融合与创新。