法评 | 生成式人工智能的安全与合规

2022年底，Chat GPT的推出引发了对于生成式人工智能（“生成式AI”）的广泛关注与讨论。AI可以帮助人类高效完成一些重复性高、耗时长的任务，在如翻译、日常邮件写作等方面可以极大提升工作效率。在处理复杂问题方面，AI也已展现出巨大潜力，如在医疗、金融、气候科学等领域，AI可以协助人类完成高效的数据分析、引导使用者产生新的思维角度等。目前普遍认为，AI将可能引领下一次生产力革命。

同时，Chat GPT产品发布五天内用户量破百万、2个月内用户量破亿的“战绩”，使资本市场对该领域的热情持续高涨。根据预测，2035年生成式人工智能有望为全球贡献近90万亿元的经济价值，其中我国将突破30万亿元。如此的关注度和市场规模也将会催生众多相关产品及创业项目，吸引大量资金与人才进入。

但是，在生成式AI带来生产力提升和经济效应的同时，AI安全性问题也日益凸显。既然生成式AI能够创建逼真的文本、图像、音频和视频，那么如果这些内容被恶意使用，可能会传播虚假新闻或误导性信息，对社会造成不良影响。AI生成的内容也有可能会导致信息接收方产生或放大偏见。因此，如忽视AI安全性问题，大范围、长期的滥用生成式AI，甚至可能带来毁灭性的社会影响。当然，AI的风险远不止于此，其在个人信息及知识产权的侵犯、数据滥用、伦理等方面的风险也不容小觑。

因此，应如何开发、提供安全、合规的生成式AI服务不仅是技术问题，也是社会、法律和伦理问题，需要社会各界共同努力完善相应标准。本文谨从法律工作者的角度，概述生成式AI可能存在的安全风险及合规问题，以供参考与讨论。

1.生成式人工智能在一般语境下的定义

生成式人工智能这一概念由两个部分构成，即“人工智能”与“生成式”。

首先，关于“人工智能”（Artificial Intelligence, 即“AI”），人类对于创造可自行思考的智慧生物的想象与探索从古至今从未停歇。1537年，炼金术士菲利普斯·奥里欧勒斯·德奥弗拉斯特·博姆巴斯茨·冯·霍恩海姆出版了《自然之道》（De Natura Rerum）一书，书中首次记载了一种名为“瓶中小人”的人造生物与其炼制方法。虽然自此之后“人造人”相关的尝试、文学作品等仍在不断进行，但直至计算机的发明，人类才真正看到了创造人造智慧的希望。在距计算机诞生仅仅10年的1956年，麦卡锡、明斯基等科学家在美国达特茅斯学院开会研讨“如何用机器模拟人的智能”，首次提出“人工智能”这一概念，标志着人工智能学科的诞生。

人工智能的终极目标是开发出一种人造智慧，使其能够执行通常需要人类智能的复杂任务。这些任务包括感知、推理、学习、规划、交流和问题解决等。这与非人工智能的计算机程序有本质区别。计算机程序一般是通过一系列指令的集合，遵循固定的逻辑和预定义的规则执行特定的任务或解决特定的问题。而人工智能不遵循固定的规则，它旨在模拟人类智能行为，包括学习、推理、感知、决策和语言理解等，并且能够自适应新情况，不断改进其性能。

其次，关于“生成式”，一般而言，是指通过机器学习技术，对于数据集中包含的人类语言、图像等的特征和模式进行学习，使计算机能够生成新的、与训练数据具有相似统计特性的数据实例。并且，这种技术的核心在于“生成”，即不再仅仅停留在对已有数据的识别、分类或预测上，而是能够自主生成全新的数据内容，因此被冠以“生成式”之名。

此外，对于“生成式人工智能”，在生活中会听到“Gen AI”、“AIGC”等相关简称。为了防止误解，下表整理了常见的缩写及其对应的含义。

由上表可见，“生成式人工智能”应为GAI或Gen AI，AGI则更强调AI在各领域执行各种任务的通用性。而在日常语境下常见的AIGC这一简称，虽然常被用以代指生成式人工智能，但严格而言是错误用法。AIGC重点强调文字、图像等内容是由生成式人工智能所产生的，与PGC和UGC相对，体现出了内容产生方式的变化。

2.生成式人工智能在法律上的定义

在我国现行的法律及标准项下，对生成式人工智能技术的定义一般与《生成式人工智能服务管理暂行办法》的规定一致，即，“生成式人工智能技术，是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术”。作为对比，欧盟《人工智能法案》中并未对“生成式”人工智能进行明确的定义，而是将“人工智能系统”定义为“一种基于机器的系统，设计为以不同程度的自主性运行，在部署后可能表现出适应性，并且为了明确或隐含的目标，从其接收的输入中推断如何生成可影响物理或虚拟环境的输出，如预测、内容、建议或决定”。可见，我国法律中的定义强调了“生成式”这一定语，但是对于“人工智能”未进行明确限定，使其适用范围可能存在一定的扩张。

同时，除“生成式人工智能”，我国法律中也存在如下相关概念。

由上述定义可见，“生成式人工智能技术”与“深度合成技术”存在很大程度的交叉。但如果严格从语义分析，深度合成技术并未限定于“人工智能”，因此非人工智能算法若符合其要件，也被该定义所涵盖。如，未使用人工智能技术的图片处理软件，如能够进行人脸生成、人脸替换等编辑，则属于“深度合成技术”，但不属于“生成式人工智能技术”。

3.生成式人工智能的类别与开发流程

从最初的数据收集、算力基础设施建设到提供生成式人工智能服务，这一过程会涉及的主体类型多样，各个主体也会因其行为产生不同的安全或合规风险。为了更加清晰地理解生成式人工智能的合规风险点，有必要先大体了解生成式人工智能服务的类别和相应开发流程。

从生成式人工智能的类别而言，一般可划分为可用于解决大部分非特定需求任务的通用型与用于解决特定需求任务的人工智能应用两类。而开发通用型人工智能一般需自行开发大语言模型，涉及大量数据收集与算力使用，出于开发成本考虑，对于人工智能应用的开发一般会基于其他公司已开发的通用型人工智能进行。即，对通用型人工智能进行针对性训练或改进，使之更能适配所需的特殊任务。因此，不同类别的生成式人工智能的开发顺序一般如下图所示。

同时，若针对某一项特定的生成式人工智能服务，其开发流程大体包括如下内容。

• 立项及定义需求：明确项目目标和需求，确定该生成式人工智能服务要解决的问题类型。
• 数据收集：收集和整理用于训练模型的数据。相关数据可能产生于公开信息收集、公司业务积累、第三方数据公司采购或开源数据库。
• 数据预处理：对收集到的数据进行清洗、格式化和标准化，以适应模型训练的需要。
• 模型选择及设计：根据希望解决的任务目标选择合适的生成模型，并设置层数、神经元数量、激活函数等，使模型架构适用于解决该任务目标。
• 模型训练：使用预处理后的数据训练模型，调整超参数以优化模型性能。
• 模型评估与优化：通过验证集和测试集评估模型的性能，使用适当的评估指标，并根据评估结果对模型进行调整和优化。
• 测试与部署：将训练好的模型集成到应用程序或服务中，并进行用户测试、投放运营等。
• 生态运维与持续迭代：持续对用户的使用行为等进行管理，维持良好的使用生态，并根据用户反馈和新的数据持续迭代和改进模型。

如前文所述，生成式人工智能的开发流程中，可能涉及诸多主体与行为，由于篇幅所限，本文难以全面说明全部风险点。但结合其开发流程，对于开发者及服务提供者而言，可能存在的安全问题与合规风险主要集中于如下方面。

1. 数据安全与合规

（1） 数据收集

由于生成式人工智能的训练需要使用海量数据，在数据保护相关规制愈发趋于严格的今天，开发者应从何处、如何收集这些数据，就成了一个不得不讨论的问题。

首先，从数据来源的角度，企业自身运营产生的数据因规模有限，一般难以独立支撑生成式人工智能的模型训练。因此，往往在开发阶段还会涉及如下数据来源及相关问题。

• 公开数据：通过互联网网页、公开数据库等收集数据。由于大多数企业等主体已认识到了数据的价值，因此其所运营的网站一般会设置Robots协议、机器人识别等以限制自动数据爬取。如果绕开其限制进行数据收集，则有可能产生不正当竞争等责任，特殊情况下甚至可能会构成非法侵入计算机信息系统罪等，产生刑事责任。
• 网页数据集、语料库等数据库：目前，已有研究机构等整理了成型的网页数据集、语料库等，如Chinese WebText网页数据集、北京语言大学语料库中心BCC语料库等。生成式人工智能开发者可以通过使用这些数据库，避免上述公开数据收集。但是，在使用前，开发者应通过确认使用规则、开源协议等明确数据库是否存在相关使用限制，避免产生使用侵权。同时，由于开发者难以分辨相关数据库在数据集构建时是否有残留的合规风险，若数据集中包含侵犯第三方知识产权等的数据，使用该数据进行开发同样存在侵权问题。
• 第三方购入或定制：开发者可向第三方购入所需的数据集，也可委托第三方数据服务商定制化采集相应数据。此时，开发者应注意完善与相应第三方之间的数据交易合同，特别是明确购入及采集数据的数据权属以及使用中所产生数据的数据权属、使数据收集方对其收集合规性及数据质量等进行声明与保证、明确交易标的、持续更新、合同终止后的数据返还销毁等相关内容。
• 自营数据：对于开发者在自身业务经营中已完成积累的数据，在用于生成式人工智能开发时除了需关注数据质量、相关数据类型是否存在使用限制、安全问题等之外，还应当识别数据上是否存在第三方的权利。若某些数据是开发者接受第三方委托进行数据处理后得到的，那么由于相应第三方对原始数据拥有权利，开发者需要通过与其达成协议，以确保处理后的数据可以被用于开发生成式人工智能。例如，开发者受委托提供数据标注服务，那么若未经委托方许可而使用标注后的数据完成自身的开发工作，则存在极高的侵权风险。

同时，企业还应当根据所收集的数据类型履行相关数据保护义务，以降低自身的法律风险。比如，收集的数据中可能包含个人信息，对于已公开的个人信息的使用应在合理限度内，对于从第三方获取的个人信息应使第一手的收集方履行相应告知义务并取得单独同意等。对于重要数据、核心数据，以及测绘、车联网、金融、医疗健康等相关行业数据也存在相应的保护义务，开发者需在收集前探讨收集的可能性、应履行何种义务等。

（2） 数据储存与网络安全

在数据集构建完成后，开发者可能将相应数据储存于自建服务器或云服务器上。由于数据集中包含海量数据，一旦泄露、损毁等，轻则会影响数据的商业价值致使开发者失去业务优势，重则可能公共利益、个人权利等造成严重影响，甚至危及国家安全、社会稳定。因此，数据储存的安全性也应引起足够重视，作为数据集载体的网络的安全性是重点之一。除了履行网络安全等级保护制度下的相应义务之外，建议开发者根据自身数据风险，在法定最低标准之上提出自身的安全要求，以实质安全而非形式合规为目标，完善网络安全建设。

（3） 数据交易

若所收集到的数据在用于自身生成式人工智能开发之外，能够通过交易的方式产生收益，从企业利益角度将是一种有效的增进。但与上述“第三方购入”的数据来源一样，相应数据是否可以交易、使用的侵权风险等从卖方视角也同样需要考虑。同时，虽然我国的数据交易市场已在逐步成型及发展，但如重要数据、个人识别符等类型数据仍属于不得进行交易，一般个人信息则因其向第三方提供所需履行的告知同意义务实务中难以实现，而处于难以合规交易的状态。因此数据卖方应对所交易的数据类型进行筛选，避免出现违法交易的情形。

2. 算力问题

（1） 算力基础设施建设

充足的算力是生成式人工智能开发的基础，承载算力的计算中心等基础设施更是人工智能领域硬实力的体现。由于芯片对于散热性的要求，算力基础设施在选址上存在独特的要求，用地性质、规划、投融资模式等都需要进行相应安排，以最大化算力基础设施的能力。同时，结合我们的实务经验，算力基础设施的消防验收和节能验收也十分严格，同时需要完成机房测评用以IDC许可证等的申请，并对IDC/ISP接入资源管理、安全防护等诸多方面也存在要求。

（2） 算力交易

对于中小体量的开发者而言，资金层面难以支撑从建设算力基础设施开始建设，一般会选择购买或租赁算力进行开发。购买或租赁算力涉及签订服务合同，需要确保合同条款的合法性、明确性和可执行性。算力供方由于自身需要建立健全的风险管理机制，可能要求对履约行为和承租方进行风险评估和审计。另外，北京、贵州、甘肃庆阳、湖北武汉、江苏无锡等多地也通过“算力券”的发放支持人工智能产业发展，开发者在接受相应政府优惠时也应保证自身符合相关条件。

3. 伦理问题

生成式人工智能所生成的内容会在一定程度上影响其受众的认知。人工智能由于其语言模型隐藏层的存在，其决策机制是人类无法理解的。同时，人工智能决策机制的形成贯穿了数据收集、训练、优化迭代的全部流程，受到大量参与者及训练数据的影响，需要建立完善的机制尽力使人工智能在决策方式上能与高道德标准的人类保持一致，将可能随着人工智能的发展不断增强偏见与歧视等。

假想在未来的某一时刻，人工智能已渗透了人类生产生活的方方面面，每个人都从其出生时便受到人工智能的影响。若届时这些人工智能的决策中仍带有偏见与歧视等，包括其开发、维护人员在内的人类只会认为这些偏见与歧视理所应当，彻底失去纠正其伦理问题的可能性。

但是，该如何建立一个健全的人工智能伦理评估体制是极其复杂的问题，并非是技术或者法律学科可以独立解决的。现阶段，对于人工智能伦理主要存在如下要求。

• 数据标注

在生成式人工智能的语言模型训练中，标注训练是十分重要的一环。标注训练指对原始数据进行标记或分类，以将这些数据的属性或意义提示给语言模型，用以使语言模型学习对数据进行归纳、总结及预测。如果标注的内容本身带有歧视，人工智能在训练后得到的决策逻辑就不可避免地会存在歧视问题。

也正是因为数据标注质量的重要性，《生成式人工智能服务管理暂行办法》特别规定了在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。

同时，中伦文德数据合规团队参与起草的《生成式人工智能数据应用合规指南》也对标注规则的制定、标注质量评估、标注人员要求等给出了细化指引。

• 人类伦理对齐

人类伦理对齐是为了确保人工智能决策与人类的价值观、伦理标准和道德原则相一致的过程。这一过程并非仅限与人工智能的开发训练阶段，而是应贯穿于相关服务的包括持续运营在内的全生命周期中。

可采取的措施例如：

在训练阶段，除上述数据标注问题外，为提高模型的性能和泛化能力，应充分考虑数据来源、数据类型及样本特征分布的均衡和多样化。为防止生成存在偏见或歧视的内容，应进行充分多样化和具有代表性的数据选择，确保其包含各个民族、信仰、国别、地域、性别、年龄、职业和健康等的充分信息。同时，也可以在合理范围内创建并使用合成数据进行数据增强训练，以保障数据的多样性等，减少存在偏见和歧视的可能性；

在运营阶段，服务提供者应建立生成内容审核机制，通过技术手段或人工审核的方式，对生成式人工智能生成的内容在对外提供前进行检测，识别并过滤其中的有害信息。

有种悲观的观点认为，也许无论如何重视人工智能的伦理问题，人类仍然无法完全避免人工智能歧视与偏见的发生。

首先，人工智能的训练数据以人类的表达为全集，但人类的表达永远只是人类思想的真子集，存在严重的幸存者偏差。例如，网络社区中极端言论的横行，并非由于只有持有极端思想的人才是社区的参与者，而是因为持有极端思想的人一般更倾向于发声。如果人类的表达本身就充斥着大量偏见与歧视，那么大量使用这些观点训练而成的人工智能也难以根除这些观念。

其次，人类的伦理与道德是在不断的发展过程中的。因作为伦理基础的科技、经济、物质条件等每天都在发生变化，百年前的道德评判标准与如今显然存在巨大的差别。这就要求人工智能的判断需要先于人类的伦理标准，预测社会发展所导致或所需要的伦理观念变化，甚至存在自身发展的可能性。否则，现时的高伦理道德标准将在社会的发展中逐步变为彼时的歧视与偏见。

再次，作为开发者的人并非圣人，训练与评估也将受到自身伦理观念的影响。每个人都存在属于自己的信息茧房，无法超出自身视野进行评判。但在开发人工智能时，要保证参与训练与评估的人员也都来自各行各业，有不同的身世背景，集合反映普世伦理价值，这将是一项不可能的工作。

因此，衷心希望社会各界关注、参与人工智能伦理问题的讨论，期待能够碰撞出更加完美的人类伦理对齐方案。否则，也许人工智能的应用可能更应被限制在对基础工作的辅助中，避免人工智能参与任何需要高度伦理判断的任务。

4. 知识产权侵权风险

（1） 数据收集的知识产权侵权风险

如果数据收集时取得了未获得授权的版权作品，如文学、艺术或音乐作品，可能会侵犯原作者或版权持有人的复制权、改编权等。但是，互联网由于允许用户自行上传内容，存在着大量的侵权内容，开发者难以全部识别哪些内容存在侵权。但是，即使从合理注意义务的层面，开发者也应当设置相应的数据收集规则，尽最大努力降低侵权的可能性。另外，不同国家和地区对知识产权的保护程度和范围可能不同，在全球范围内收集数据时可能面临法律差异带来的侵权风险，也应当予以重视。

（2） 生成内容的知识产权侵权风险

2024年2月，广州互联网法院就生成式人工智能服务提供者（以下称“被告”）侵权一案作出判决，法院认定被告在提供生成式人工智能服务过程中生成图片中的形象与原告享有著作权的奥特曼形象构成实质性近似，属于著作权侵权，并判令赔偿权利人的损失。在这一案件中，用户使用被告服务输入“生成一个奥特曼”，即可生成类似奥特曼形象的图片。可推测，被告并未对用户的提示词进行管理，未有效筛查避免生成可能侵权的生成物。因此，对于生成式人工智能服务提供者而言，可以通过控制提示词的方式避免生成侵权内容。

但是，若仅对提示词进行管理，用户也可能在未触发关键词的情况下不断要求生成式人工智能调整生成物，使其逐步接近侵权内容，最终构成侵权。该种情况下，侵权责任应由用户承担还是由服务提供者承担在实务中尚不明确，但服务提供者为了尽量规避自身风险，也应尽可能审查每次的生成内容，以达到双重保险的效果。

5. 生态运维

用户在使用生成式人工智能服务的过程中，可能会如前述利用人工智能服务生成侵权作品，也可能利用服务进行诈骗等违法犯罪活动。为了防止自身生成式人工智能服务被滥用或恶意使用，维护良好的服务生态，根据《生成式人工智能数据应用合规指南》团体标准（编号为T/CECC 027—2024）的相关规定，服务提供者一般可从如下方面入手进行生态运维。

• 完善用户使用协议

服务提供者应当与用户签订服务协议，在服务协议中明确告知使用者如下事项：

• 生成式人工智能服务的基本特点与可能风险；
• 使用者使用生成式人工智能服务的基本规范，包括不得利用生成式人工智能服务特性，有意识地获取违反法律法规、违反社会公德或伦理道德的内容；
• 使用者负有审慎、尽责使用生成式人工智能服务的义务，在生成内容含有违反法律法规、违反社会公德或伦理道德的内容时，不应将此生成内容对外传播；
• 明确告知使用者与生成内容相关的具体使用场景，例如明确生成内容是否可使用于科研、商用或自用等目的，以及其他使用限制条件；
• 对于生成内容在特定行业的应用，尤其是对内容准确性有较高要求的如法律、医疗等领域，应向使用者重点提示风险。

同时，服务提供者应当落实网络实名制，对违法使用生成式人工智能服务的用户建立追责机制等。

• 实施用户教育

通过告知提示、观看教育视频提供激励等机制，为用户提供必要的教育和培训，帮助用户理解生成式人工智能的能力与限制，以及使用时应注意的伦理和法律问题。

• 进行使用行为监管

提供者应建立生成内容审核机制，通过技术手段或人工审核的方式，对用户输入的提示词及生成式人工智能生成的内容进行检测，识别并过滤其中的个人隐私信息、虚假有害信息、违法违规信息等不宜对外提供的内容。

同时，可以对触发敏感词汇等关键词的使用行为长期保留其使用记录，并对频繁违法使用服务的用户实施强监管或拒绝使用等限制。

• 建立反馈与举报机制

应建立使用者对生成内容提出异议的通知-受理机制、举报-受理机制，当使用者或举报者对生成内容合法合规性有异议，向提供者通知、举报时，提供者应按如下机制来处理：

• 及时向使用者或举报者反馈，告知其已进入生成内容异议审核阶段；
• 及时判断被异议的生成内容是否违反法律法规、违反社会公德或伦理道德；
• 一旦确认被异议的生成内容违反法律法规、违反社会公德或伦理道德的，应及时采取停止生成、停止传输、消除等处置措施，并采取模型优化训练等措施进行整改；
• 向使用者或举报者告知生成内容的异议处理情况，并视具体情况向有关主管部门报告。

• 风险评估

定期进行风险评估，识别生成式人工智能服务在使用过程中是否可能存在潜在风险，并及时加以改进。

除了前述安全与合规上存在的问题与潜在风险外，在现行法律规制下，生成式人工智能的开发与服务提供一般也需要取得相应的资质证照，并履行相关备案手续。但由于生成式人工智能可应用的领域十分广泛，不同业务形态等又可能对资质证照提出特殊要求，下表仅整理了通用的高关联性项目，供参考。

伴随着生成式人工智能的发展，我国也在不断推进立法的保护与完善。2024年，中国电子商会发布《生成式人工智能数据应用合规指南》团体标准（编号为T/CECC 027—2024），2024年5月1日起实施。此项标准由国家工业信息安全发展研究中心牵头，由北京之合网络科技有限公司负责组织，由中国电子商会归口。

此项标准规定了生成式人工智能服务在数据采集、数据标注、训练数据预处理、模型训练与测试、内容生成服务等各个数据应用环节中应遵循的数据应用合规原则与合规要求，以及可供借鉴参考的具体合规手段与合规方法，适用于指导生成式人工智能服务提供者向中华人民共和国境内公众提供生成式人工智能内容生成服务过程中所开展的数据应用合规工作。

中伦文德律师事务所受邀成为此项标准的起草单位后，组织了由徐云飞律师牵头，周力思律师、王祺律师、肖文军律师、向丹阳律师、艾文婧律师参与的所内标准起草团队，深度参与了此项标准的起草工作。在起草过程中，中伦文德律师结合自身丰富的实践经验，针对此项标准的多个具体条款积极反馈意见，为标准的最终成稿做出了重要贡献。

生成式人工智能作为当今科技领域的前沿技术，其发展与应用无疑为人类社会带来了巨大的便利和创新机遇。然而，随着技术的进步，安全与合规问题也日益凸显，成为我们不容忽视的挑战。本文基于当前的视野初步探讨了生成式人工智能的潜在风险及应对策略，但仍应结合技术的飞速进步不断提升理解，才能从容防患于未然。

技术的发展不应以牺牲安全和伦理为代价。我们必须在创新与责任之间找到平衡点，确保人工智能技术在为人类带来福祉的同时，也能够尊重每个人的权益和尊严。为此，需要政府、企业、学术界以及公众的共同努力，建立全面的监管框架，制定明确的指导原则，加强技术伦理教育，促进跨学科的对话与合作。对于企业而言，也需要在追求效率的同时，将安全与合规放在天平另一端重要的位置上，在各方专家的协助下，共同有序推进生成式人工智能应用的发展。只有这样，才能尽量使生成式人工智能技术在安全、合规的轨道上前行，共建更加美好的未来。

···作者简介···