啤酒·音乐·黑客·大模型！AI赋能，安全护航：大模型应用场景漏洞剖析

在人工智能飞速发展的当下，其应用已渗透至各行各业，极大地改变了人们的生活与工作方式。然而，如同任何新兴技术一样，AI 在带来便利的同时，也伴随着不容忽视的安全风险。近期，腾讯安全云鼎实验室在西安举办了一场别具特色的主题沙龙活动，此次活动巧妙地融入了 “啤酒・音乐・黑客・大模型” 等元素，并以 “模型有界安全无疆” 作为主题。活动吸引了来自绿盟科技、京东云、云起无垠以及西安电子科技大学等产学研各界的众多权威专家积极参与，共同深入探讨 AI 时代红蓝攻防的全新范式。

在活动中，云起无垠模型安全研究负责人、知攻善防实验室核心成员刘洋先生，以 “AI 赋能，安全护航：大模型应用场景的漏洞剖析” 为主题展开了精彩分享。他深入剖析了大模型时代下，AI 赋能大模型应用场景中的漏洞挖掘技术，并结合实际案例进行解析，为参会者带来了前沿的技术见解和宝贵的实践经验。

AI 产业发展与安全隐忧

当前，中国人工智能行业市场规模呈爆发式增长，2024 年达 7470 亿元，同比增长 41.0%，预计 2025 年将升至 10457 亿元，占全球比重达 20.9%。AI 技术在互联网、电信、政务、金融等领域的渗透率显著提升，从 2021 - 2023 年，在这些行业的渗透率分别达到 89%、68%、65%、64%。但随着 AI 应用落地场景的不断增多，新型安全风险也逐渐暴露。

虽然AI 应用广泛普及，但存在诸多漏洞风险。

1. 越狱操控：攻击者通过 Prompt 注入突破模型限制，如诱导 ChatGPT 输出违规内容，利用恶意注释诱导 RCE 控制目标系统。

2. 权限失控：AI 权限管理不善，会过度调用敏感 API。像微软医疗机器人数据泄露、WindSurf 本地服务因 CSRF 漏洞被利用，导致权限失控。

3. 数据裸奔：AI 交互安全防护不足，致使密钥、代码、文件等信息泄露。如政务公众号 AI 助手密钥暴露、简历分析平台因 file 协议 SSRF 漏洞导致数据泄露。

4. Sql 注入：依赖数据库的 AI 应用若对用户输入验证不严，攻击者就能构造恶意 SQL 语句。例如 AI 简历助手存在此漏洞，导致数据库被非法操作，危及数据安全。

AI 应用安全漏洞案例解析

1. 医疗 AI 机器人漏洞

从实际案例来看，医疗 AI 机器人 Azure Health Bot Service 存在数据连接功能漏洞。其数据连接功能可使后端系统向第三方 API 接口发送请求获取敏感数据，研究人员发现，利用重定向响应能绕过端点的安全措施，如过滤机制，这对患者医疗信息安全构成严重威胁。

2. Cursor 代码编辑器漏洞（CVE - 2024 - 48919）

Cursor 代码编辑器也曾出现严重的 RCE 漏洞（CVE - 2024 - 48919）。在 2024 年 9 月 27 日之前，若用户通过 Cursor 的 Terminal Cmd - K/Ctrl - K 功能导入恶意网页，攻击者就能在网页中嵌入包含 Base64 编码恶意指令的注入文本。当用户将该网页内容作为上下文输入时，语言模型可能被误导，输出恶意命令并自动执行，导致用户终端安全失控。

3. 政务公众号 AI 助手漏洞

政务公众号的 AI 助手也并非坚不可摧。某政务公众号 AI 助手就出现了模型 api 泄露、系统提示词泄露问题，攻击者可获取关键信息，还能利用 Xss 图片插入与自动加载访问 dnslog 进行攻击，通过构造恶意指令，诱导 AI 助手执行，从而获取敏感数据或进行其他恶意操作。

4. 国企智能分析平台 SSRF 漏洞

某国企智能分析平台存在 SSRF 漏洞，由于系统未指定 http/https 协议，AI 对输入内容分析后交由后台API请求，导致攻击者可利用File协议发起攻击，获取系统敏感文件信息，如 “/etc/passwd” 文件内容，威胁系统安全。而且，AI 应用的随机性还会使多次请求回显结果不同，增加了检测和防范的难度。

5. AI 编辑器 Windsurf 漏洞

胡晓章挖掘的 Windsurf 编辑器漏洞，因本地服务缺乏限制，缓存的用户代码数据存在泄露风险。攻击者构造特定网页，用户点击后，代码就会自动发送到指定服务器，造成代码泄露，给用户带来知识产权损失和安全隐患。

6. AI 简历分析助手 SQL 注入漏洞

某 AI 简历分析助手则遭遇了 SQL 注入漏洞。智能问答、简历关键信息提取与展示、职位要求匹配查询等功能都依赖后端数据库，攻击者利用自然语言交互的方式，构造恶意查询语句，如联合注入、报错注入、布尔注入和时间盲注等，获取数据库敏感信息，严重影响数据安全。

AI 应用安全防御困境与应对策略

面对这些严峻的安全挑战，AI 应用防御存在诸多难点。AI 的特性决定了通过 System Prompt 无法完善约束，即使设置了严格的提示词规则，攻击者仍可能绕过限制获取敏感信息。例如，通过不断尝试不同的指令和输入方式，突破提示词设定的安全边界。

为强化 AI 应用安全防御，刘洋认为可以从两个层面进行防护:

· 在权限管理方面，应遵循最小权限原则。对于风险操作，要进行人工确认，例如 Copilot CLI 采用的双验证机制，在执行关键操作前，不仅依靠 AI 进行初步处理，还需人工二次确认，有效降低操作风险。同时，严格限制 AI 权限，实施敏感数据隔离策略，禁止 AI 直接访问核心数据库和密钥，从源头上杜绝因 AI 权限过大而导致的敏感信息泄露风险，大幅降低安全隐患。

· 在漏洞检测与防范层面，构建 AI 应用漏洞挖掘工具刻不容缓。一方面，通过自动化爬取、人工编写、智能生成等多种方式构建 Prompt 测试集，对模型内容进行全面检测。其中，Prompt 模糊测试可模拟各种异常和恶意输入，有效发现潜在的 Prompt 注入等漏洞。另一方面，利用该工具对 AI 应用的框架进行漏洞检测，实时监控模型架构是否存在异常。一旦发现漏洞，及时进行修复，确保 AI 应用的安全性和稳定性。通过这种动态对抗升级的方式，不断提升 AI 应用面对复杂多变的安全威胁时的应对能力，为 AI 应用的安全运行保驾护航。

在行业层面，我们应重视 AI 应用安全标准，如 OWASP TOP 10。这一标准明确了 AI 应用中的常见安全漏洞，提供详细的安全建议和缓解策略，有助于提高开发者和组织的安全意识，指导安全实践，推动行业规范发展，促进安全工具进步，确保 AI 应用符合法律法规要求，降低法律风险。此外，完善 “漏洞赏金计划 + 红蓝对抗” 机制，吸引全球安全研究人员和黑客挖掘 AI 系统漏洞，建立学习交流平台，实现信息和技术共享，加速 AI 安全攻防技术发展。

在应用实践中，刘洋先生指出，自 AI 技术尤其是大模型投入应用后，云起无垠积极探索 AI 在安全领域的赋能实践，成功研发设计了无极 AI 安全智能体平台。该平台旨在帮助用户有效应对网络安全威胁、代码漏洞风险，以及安全工具治理过程中面临的复杂性与挑战。随着 DeepSeek 大模型的兴起，无极 AI 安全智能体平台及时接入了该模型，旨在进一步提升平台在漏洞挖掘、自动化渗透和威胁情报等场景中的效能，使安全应用的智能化水平与运行效率得到显著提升。

写在最后

在 AI 技术深度融入社会生活的今天，安全是其持续健康发展的基石。只有充分认识到 AI 应用场景中的漏洞风险，采取有效的防御措施，加强行业协作与规范建设，才能在享受 AI 带来便利的同时，保障数据安全和用户权益，让 AI 真正成为推动社会进步的可靠力量。

安全极客是一个致力于信息安全知识共享与交流的专业社区平台，主要围绕GPTSecurity、智能模糊测试、软件供应链安全、红蓝攻防四大主题构建内容分享生态。云起无垠作为联合发起方，欢迎广大安全专家的加入，共同探讨前沿安全技术，促进行业内的知识分享与合作。

更多阅读