之江实验室发布《生成式大模型安全与隐私白皮书》(附下载)

关注我们

带你读懂网络安全

如何应对生成式大模型「双刃剑」？

当前，生成式大模型已经为学术研究甚至是社会生活带来了深刻的变革，以 ChatGPT 为代表，生成式大模型的能力已经显示了迈向通用人工智能的可能性。但同时，研究者们也开始意识到 ChatGPT 等生成式大模型面临着数据和模型方面的安全隐患。

今年 5 月初，美国白宫与谷歌、微软、OpenAI、Anthropic 等 AI 公司的 CEO 们召开集体会议，针对 AI 生成技术的爆发，讨论技术背后隐藏的风险、如何负责任地开发人工智能系统，以及制定有效的监管措施。国内的生成式大模型技术也正在发展之中，但是同时也需要先对安全问题进行相应的分析以便双管齐下，避免生成式大模型这把双刃剑带来的隐藏危害。

为此，之江实验室基础理论研究院人工智能与安全团队首次全面总结了 ChatGPT 为代表的生成式大模型的安全与隐私问题白皮书，希望能够为从事安全问题研究的技术人员指明方向，同时也为 AI 相关政策的制定者提供依据。

白皮书链接： https://github.com/xiaogang00/white-paper-for-large-model-security-and-privacy

生成式大模型的发展与重要应用

这份白皮书首先总结了 ChatGPT 与 GPT4 等生成式大模型的发展历程，以及其带来的各种令人惊叹的能力和社会变革、社会应用等。作者列举了 ChatGPT 和 GPT4 出现之前的 GPT-1、GPT-2、GPT-3、Google Bert 等模型的特点以及缺点，这些缺点与 ChatGPT 和 GPT4 的强大能力形成了对比；并且，ChatGPT 和 GPT4 之后又涌现了一大批的模型，包括 LLaMa、Alpaca、文心一言、通义千问等，它们的出现使得在人机交互、资源管理、科学研究、内容创作等应用领域出现了新的、强有力的工具。但同时也出现了包括数据安全，使用规范、可信伦理、知识产权以及模型安全方面的问题。

数据安全问题

白皮书提出，数据的安全和隐私是 ChatGPT 及 GPT4 等生成式大模型使用和研发过程中一个极为重要的问题，并从「显式」和「隐式」两个方面对其进行了分析。

在显式的信息泄漏中，首先，ChatGPT 等生成式大模型的训练数据在不经意间被转换成了生成内容，其中就包括了敏感和隐私的个人信息如银行卡账号、病例信息等。此外，ChatGPT 的数据安全和隐私隐患还体现在它对于对话框内容的存储，当用户在和 ChatGPT 互动时，他们的信息会以某些形式被记录和存储下来。

白皮书还提出了之前被大家忽略的隐式信息泄漏问题。首先，ChatGPT 体现出的数据安全和隐私的隐患是它可能通过对对话框数据的收集进行广告推荐，以及收集对话框数据进行推荐或者其他的下游机器学习任务，且 ChatGPT 有时候可能也会生成虚假的信息，以此来诱导用户泄漏一系列的数据。

使用规范问题

在白皮书中，作者提到 ChatGPT 和 GPT4 等生成式大模型强大的理解和生成能力虽然为我们的生活和生产带来了很多的便利，但是同时也存在更多的机会被恶意使用。在没有规范约束的情况下，恶意使用将带来很多的社会性问题。

其一，ChatGPT 和 GPT-4 等模型的强大能力使得某些别有用心的人想要将其作为违法活动的工具。例如用户可以利用 ChatGPT 来编写诈骗短信和钓鱼邮件，甚至开发代码，按需生成恶意软件和勒索软件等，而无需任何编码知识和犯罪经验。

其二，ChatGPT 和 GPT4 等生成式大模型没有把不同地区的法律规范考虑在内，在使用和输出的过程中可能会违反当地法律法规，因此需要一个强而有力的当地监管系统来检测其使用是否与当地法律法规相冲突。

其三，对于一些游离于安全和危险之间的灰色地带，ChatGPT 等生成式大模型的安全能力还没有得到增强。例如 ChatGPT 可能会输出一些诱导性的语句，包括跟抑郁症患者沟通时候可能会输出某些语句导致其产生轻生的心态。

可信伦理问题

ChatGPT 等生成式大模型以问答形态存在于社会层面，但其回复往往存在不可信，或者无法判断其正确的问题，会有似是而非的错误答案，甚至对现有社会伦理产生冲击。

白皮书指出，首先 ChatGPT 等生成式大模型的回复可能是在一本正经地胡说八道，语句通畅貌似合理，但其实完全大相径庭，目前模型还不能提供合理的证据进行可信性的验证。例如，ChatGPT 可能会对一些历史、科学、文化等方面的问题回答错误或者与事实相悖，甚至可能会造成误导或者误解，需要用户有自己的鉴别能力。

ChatGPT 等生成式大模型的伦理问题也在白皮书中被详细讨论。即使 OpenAI 等研发机构已经使用 ChatGPT 本身生成了他们的道德准则，但其中的道德准则是否符合我国国情的基本价值观原则，尚未有定论。作者提出其中存在传播有害意识形态、传播偏见和仇恨、影响政治正确、破坏教育公平、影响国际社会公平、加剧机器取代人类的进程、形成信息茧房阻碍正确价值观形成等问题。

知识产权问题

ChatGPT 等生成式大模型凭借强大的语言处理能力和低廉使用成本给社会方方面面带来便利的同时，也存在侵权的问题，对现存版权法体系带来冲击。例如 ChatGPT 生成的作品可能存在著作权争议：ChatGPT 虽然有着出色的语言处理能力，但是即使生成的作品符合知识产权的全部形式要求，ChatGPT 也无法成为著作权的主体，这是因为著作权主体享有权利的同时也要承担对应的社会责任，而 ChatGPT 只能作为用户强大的辅助生产力工具，它无法自主创作，更不要谈享有权利、履行义务的主体要求。

而且 ChatGPT 等生成式大模型仍无法独立创作，更没有自主思维和独立思考的能力，因而，ChatGPT 根据用户的输入生成的内容不符合作品「独创性」的要求。ChatGPT 用于模型训练的数据来自于互联网，不论多么高级的模型训练算法必然涉及到对现有智力成果的引用、分析、处理等，必然存在对他人合法知识产权的侵犯问题。

模型安全问题

从攻防技术角度来看，ChatGPT 等生成式大模型也存在着模型安全的问题。ChatGPT 本质上是基于深度学习的一个大型生成模型，也面临着人工智能安全方面的诸多威胁，包括模型窃取以及各种攻击引起输出的错误（例如包括对抗攻击、后门攻击、prompt 攻击、数据投毒等）。

例如，模型窃取指的是攻击者依靠有限次数的模型询问，从而得到一个和目标模型的功能和效果一致的本地模型。而 ChatGPT 已经开放了 API 的使用，这更为模型窃取提供了询问入口。又比如，ChatGPT 和 GPT4 作为一个分布式计算的系统，需要处理来自各方的输入数据，并且经过权威机构验证，这些数据将会被持续用于训练。那么 ChatGPT 和 GPT4 也面临着更大的数据投毒风险。攻击者可以在与 ChatGPT 和 GPT4 交互的时候，强行给 ChatGPT 和 GPT4 灌输错误的数据，或者是通过用户反馈的形式去给 ChatGPT 和 GPT4 进行错误的反馈，从而降低 ChatGPT 和 GPT4 的能力，或者给其加入特殊的后门攻击。

安全与隐私建议

最后，白皮书中对于安全和隐私等问题都进行了相应的建议，可作为之后技术研究者们的方向和政策制定者们的参考依据。

在保护隐私建议方面，白皮书提出要在增强原始数据中高敏感隐私信息的辨别和传播限制；在数据收集过程中利用差分隐私等技术进行隐私保护；对于训练数据的存储进行数据加密形式的安全保护；在模型训练过程中使用安全多方计算，同态加密以及联邦学习等技术进行数据隐私和安全保护；建立数据隐私评估和模型保护与安全认证体系，并且保护下游应用的隐私。

在模型安全问题的建议上，白皮书提出对安全与隐私信息的检测模型的训练；让不同的模型适用于不同国家的法律条款；以及针对各种对抗攻击进行防御性训练。

在模型合规问题上，白皮书提出进行可信输出的度量，信任值评价，增加模型输出的版权信息的查询功能。

总结来说，AI 生成式大模型的发展离不开安全，因此其安全问题将作为下一个技术点，值得众多研究者去攻克。而安全也是社会稳定的保障，有关部门需要尽快进行政策的制定。

推荐阅读

文章来源：机器之心

点击下方卡片关注我们，

带你一起读懂网络安全 ↓