多视角解码大模型安全：以 AI 制衡 AI，突破安全困局

在人工智能快速发展的今天，大模型已经成为了推动各行业变革的核心技术之一，从医疗诊断到智能交通，从金融风险控制到教育个性化推荐，各行各业中都出现了大模型的身影。

根据Gartner的预测，2026年将有超过80%的企业部署启用生成式人工智能（GenAI）的应用，而2023年这一比例尚不足5%，可以说大模型正以前所未有的速度重塑着我们的世界。

技术突飞猛进的同时，也伴生着快速成长带来的“生长痛”，从数据隐私泄露、算法偏见，到模型滥用和对抗性攻击，大模型技术本身的内生安全和在各领域使用所导致的应用安全问题也日益凸显，成为行业内外共同关注的焦点。

在此背景下，腾讯安全联合西安市智能系统安全重点实验室、LLM&Sec landscape安全社区共同举办“模型有界、安全无疆”主题技术研讨会，邀请了来自陕西省计算机学会网络空间安全专委会、西安电子科技大学、绿盟、京东等产学研各界嘉宾代表，围绕大模型的安全问题，从高校教育、企业实践、监管政策、技术创新等多个方面进行了探讨与分享。

面对新技术带来的认知冲击和知识焦虑，如何在大模型时代的网络攻防对抗中始终保持先发优势？或者说大模型时代需要什么样的安全人才？

在圆桌对话环节，嘉宾从不同视角深入探讨了大模型时代的安全与人才培养问题。嘉宾一致认为大模型时代，技术手段的高速发展带来了新的发展机遇同时也迎来了更高的挑战，不论是网安人才的培养，还是监管措施的落地，都需要从高校教育到企业实践的协同应对。

西安电子科技大学博士生导师/西安市智能系统安全重点实验室主任/陕西省计算机学会网络空间安全专委会副秘书长 高海昌

腾讯云安全策略&攻防专家 李滨

腾讯云鼎实验室攻防负责人 李鑫

绿盟科技M01N战队负责人/LLM&SEC Landscape 社区发起人 高东

1. 高校视角：知识更新与实战能力的双重挑战

西安电子科技大学的高海昌教授指出，高校在培养适应大模型时代的AI人才方面，正面临着知识更新与实战能力培养的双重挑战。

高海昌教授表示，人工智能时代，知识的确卷得非常快，怎么跟上这么卷的步伐，也是高校老师一直在思考的内容。以西电为代表的电子信息类学校一直没有停止过对知识的更新，比如在课程设置中引入国产开源操作系统OpenHarmony和数据库如 openGauss，使学生在学习过程中与实际应用接轨，缩短从理论到实战的周期，以便在未来的学习和工作中能够更好地融入企业与社会。

但这并不意味着知识体系可以像大模型更新一样全盘改变，大学作为打基础的阶段，有些知识必须保留，高等数学、大学物理、数据结构等基础知识虽多年未变，但依然是学习其他知识的根基，不可或缺。

关于实战能力的培养，高海昌教授坦言，高校在培养学生实战能力方面存在不足。这需要学校、安全企业，以及学生自己的共同努力。一方面高校与本地安全企业、头部企业开展合作，为学生提供实习、实践机会，提升学生从理论到实战的能力。另一方面，也鼓励学生参加各类竞赛和实际项目，通过实战锻炼提高解决实际问题的能力。

2. 企业视角：技术迭代对人才能力结构的影响

腾讯云安全策略&攻防专家李滨从企业的角度，强调了技术迭代对人才能力结构的影响。他认为，未来每个人的基本素质能力都将包含AI的理解和应用，就像使用手机一样，成为基础能力。

AI的渗透趋势是不可逆的，并且在不断加速中，从2024年中到现在，新技术基本是以三个月到半年的速度发生换代或者迭代。DeepSeek的出现更是点燃了新一轮大模型技术发展和应用的热情，基本每三天就会有新的论文、新的技术出现。这是在过去十年以来，整个AI技术领域都没有出现过的速度。对于每个学生个体、从业者最大的影响就在于，你半年前学习的知识放到现在可能已经过时。

李滨认为面对这样的快速变化，个人能力集合将会分化。像编程、维护、开发等中间层面的技能性知识很容易就会被AI取代，AI甚至能做得更快更好。AI不能取代的是扎实的底层技术基础和顶层抽象思维能力，这些才是在快速变化的技术环境中保持竞争力更关键、更重要的部分。

面对新技术带来的认知冲击和知识焦虑，腾讯云鼎实验室攻防负责人李鑫认为，当某个领域工程师超负荷运转时，必然会有新技术出现以改善整个生态，这两年安全行业这么卷，就是因为大模型马上要出现，所以大家不要过于焦虑，只需要站在巨人的肩膀上跟上时代步伐即可。

作为新时代的网络安全人才，需要备两种素质和能力：一是学会给AI打工，让它成为你的教练，帮你制定各种计划；二是学会让AI给自己打工，具备驾驭AI的能力，将工作流程化，学会调动AI参与实现关键技术，也就是“以模制模，让AI打AI”。

3. 安全挑战视角：AI技术的滥用与应对措施

随着AI技术的深度应用以及快速迭代，大模型自身面临和随之带来的安全挑战也日益严峻。

面对AI时代诈骗手段带来的安全挑战，高海昌教授强调了AI 监管的迫切性，特别是在生物信息保护和 AI 伦理方面。他指出，生物信息的不可修改性和 AI 伪造能力的提升，使得监管变得尤为迫切。高校和企业应该共同合作，推动 AI 监管规范的制定和落地，为学生和从业者提供明确的指导。

绿盟科技M01N战队负责人高东则强调了技术员在 AI 监管中的重要作用。在AI伦理监管规范的建设制订方面，技术人员可通过威胁建模等方式预判风险，为规范制订提供建议。在规范落地方面，技术人员可从实战与技术角度解读并实施规范，处理合规对模型开发生命周期的影响，参与评估验证，持续提升人工智能体系的安全性。

此外，个人在AI时代的信息免疫能力也非常重要，李鑫认为，在 AI 时代，每个人都应具备独立思考和判断的能力，不盲目相信 AI 生成的内容，保持理性和谨慎，遵循道德和法律规范。

理论层面的探讨固然为我们勾勒出了问题的全貌与关键所在，但要真正攻克大模型安全的难题，将理念转化为实际成效，还需回归到具体的技术实践领域。

在技术分享环节，嘉宾分别从不同维度分享了自己在大模型应用与安全方面的实操经验，用切实的技术成果分享，诠释了什么叫“以AI为矛，用AI铸盾”。

1. LLM 应用安全问题与应对措施探索

绿盟天元实验室高级安全研究员、M01N战队核心成员祝荣吉

绿盟天元实验室高级研究员祝荣吉 大模型的应用架构入手，详细分析了当前面临的安全风险，包括提示词注入、API安全问题、模型域攻击等。

他表示，安全左移是解决这些问题的关键，在模型选型阶段引入自动化风险评估机制，应用开发阶段进行提示词加固，开发部署阶段利用专项工具检测风险，可以有效缓解这些新型安全风险，并强调未来的大趋势就是“以模制模”。

2. 基于函数调用的大模型越狱攻击

西安电子科技大学博士、西安智能系统安全重点实验室成员吴子辉

西安电子科技大学的吴子辉博士分享了基于函数调用的大模型越狱攻击研究。他指出，攻击者可以通过精心构造的提示词，利用函数调用参数生成阶段的安全对齐不足，实现对模型的越狱攻击。通过研究团队设计的越狱函数攻击模板，在多个主流大模型上进行了测试，平均成功率超90%。

为解决这些问题，可采取限制用户权限、配置安全过滤器、插入安全提示词等防御措施，最根本的是对大模型参数进行安全对齐训练。

3. 构建大模型越狱大脑

京东蓝军-白鵺攻防实验室的安全研究员Knight

面对信息过载和大语言模型风险快速变化的挑战，京东蓝军/白鵺攻防实验室安全研究员knight提出了一种基于知识管理的自动化框架，通过构建知识图谱和语义聚类算法，实现了对越狱攻击的自动化生成和分类，为大模型的安全评估和防护提供了新思路。

通过这种方式，安全研究人员可以更及时地了解和掌握大模型的安全风险，提前制定相应的防护策略，以应对日益复杂的安全威胁。

4.  大模型应用场景中的漏洞剖析

云起无垠模型安全研究负责人，知攻善防实验室核心成员刘洋

云起无垠模型安全研究负责人知攻善防实验室核心成员刘洋 从实际应用出发，剖析了大模型在生成式语言助手、AI检索、代码生成等场景中的安全风险。

他强调，AI应用的安全不仅需要关注模型本身，还要考虑前端、API和数据传输等环节的防护。

5.  ML/AI安全可观测性框架

ChaMD5安全团队AI组负责人宁宇辉

ChaMD5安全团队AI组负责人宁宇辉在研讨会上介绍了基于EPBF的模型文件加载观测框架“ltrack”。

宁宇辉指出，随着大模型的广泛应用，模型文件的加载过程中的安全问题日益凸显。“ltrack”框架通过hook系统调用，可以实现对模型加载过程的动态监测，提供细粒度的日志和实时告警。

绝大部分新技术的应用与发展都是“双刃剑”，大模型作为当下引领时代变革的核心技术，它的安全问题不仅关乎着技术的可持续发展，也直接影响社会的稳定。本次的 “模型有界、安全无疆” 主题技术研讨会为产学研各界搭建了深入交流的平台，围绕大模型的安全问题，从理论探讨到技术实践，进行了全方位的探讨，也为后续进一步强化大模型安全研究、推动安全技术创新、完善人才培养体系以及促进监管政策落地等工作提供了思路和参考。未来，期待产学研各界继续紧密合作，共同应对大模型安全挑战，助力大模型技术在安全的轨道上持续创新发展。