7月6日,大数据协同安全技术国家工程研究中心(BDS国家工程中心)发布了国内首份《大语言模型提示注入攻击安全风险分析报告》,为国内大模型安全发展提供整体指南。报告指出,提示注入攻击已成大模型安全威胁之首,建议从安全测评、安全防御、安全监测预警等方面,多维度提升大模型的安全性。
大语言模型引领创新浪潮席卷全球,国内迄今已有80余个大模型公开发布。在引领新一轮工业革命的同时,大模型的安全风险也引发广泛担忧。此前,BDS国家工程中心的AI安全实验室在承担“安全大脑国家新一代人工智能开放创新平台”研究中,对ChatGPT、BARD、Bing Chat等大模型产品进行了风险评估,发现主流厂商的相关服务全部存在提示注入攻击的安全风险。此外,AI安全实验室还在主流AI框架中发现200多个漏洞,影响超过40亿终端设备。5月30日,二十届中央国家安全委员会第一次会议上也明确提出,需“提升网络数据人工智能安全治理水平”。
目前大语言模型面临的风险类型包括提示注入攻击、对抗攻击、后门攻击、数据污染、软件漏洞、隐私滥用等多种风险。在这些安全威胁中,提示注入攻击因利用有害提示覆盖大语言模型的原始指令,具有极高危害性,也被全球性安全组织OWASP列为大语言模型十大安全威胁之首。
测评结果显示,目前的大型语言模型普遍面临提示注入攻击安全风险,包括在自动问答系统中误导用户,或者通过对话系统中的输入操纵回答结果。该报告在大模型安全测评、安全防御、安全监测预警方面给出相关建议。在安全测评方面,需进行网络安全测评和内容安全测评,检测模型软件、插件及供应链等的安全漏洞,并评估模型是否产生有害、有偏见、侵权或与事实不符的内容,以提出整改建设方案。在安全防御方面,报告建议应构建多层次的协同防御体系,包括过滤和清洗训练数据、添加多样化的输入示例来提高模型鲁棒性,以及拦截各类注入攻击等措施来保护模型免受攻击。在安全监测预警方面,需建设大语言模型安全风险监测预警平台,包括构建威胁情报库和建立自动化预警系统,以实时追踪安全事件、攻击模式和漏洞信息,并及时发出预警。
基于报告形成测评能力,未来,BDS国家工程中心将通过“安全大脑国家新一代人工智能开放创新平台”,为国内大模型提供提示注入攻击风险安全测评,全面推动我国构建安全可信的人工智能。
点击下方阅读原文查看完整报告。
往期推荐
| |||
| |||
| |||
|
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...