欧盟人工智能立法提案的核心思想n及未来影响分析

2.2　重点明确高风险人工智能系统的监管框架, 对其全生命周期监管作出具体规定

2.3　明确主管机构和评估机构的职责，为有序 推进监管提供组织保障

2.4　设立人工智能“监管沙箱”，兼顾中小企 业的特殊情况和技术创新需求

2.5　提出三类情形的违法处罚原则，企业违法最高罚款达到其全球年营业额的6%

3　欧盟人工智能立法提案可能带来的 影响分析

3.1　在规则制定方面，必然加速全球可信人工 智能监管政策落地的步伐

3.2　在市场准入方面，大大提高全球人工智能 企业进入欧盟市场的门槛

3.3　在业态构建方面，即将拉开人工智能安全 保障和评估评测业务市场的序幕

3.4　在系统设计方面，倒逼人工智能从业者更 加负责任地思考人工智能技术的设计和应用

4　应对建议

4.1　对内：研究出台人工智能安全治理规范指 南，适时形成具有约束力的政策要求

4.2　对外：加强国际交流与合作，尽可能地降 低企业进入海外市场的门槛

5　结　语

2021年4月21 0 ,欧盟委员会在官网上发 布了其提交的立法提案——《欧洲议会和理事 会关于制定人工智能统一规则（人工智能法） 和修订某些欧盟立法的条例》（以下简称“人 工智能立法提案”），提出了对人工智能系统 实行分类分级监管的思想和合规评估要求，旨在于欧盟范围内规范和保障人工智能的可信应 用，进一步鼓励人工智能领域的投资和创新。此举也充分体现了欧盟欲在人工智能监管领域 扮演全球“领头羊”角色、提升其竞争力的决心。欧盟人工智能立法提案是否会给全球带来类似 《通用数据保护条例》（GDPR）的影响，这一 问题已引起业界高度关注。本文简要介绍立法 提案出台的背景，概括分析立法提案的5大核 心内容，并从4个方面预测可能带来的影响。

立法提案的准备工作始于2018年欧盟人工 智能高级别专家组的建立，该高级别专家组由 来自不同领域的52位知名专家组成，为欧盟委 员会实施人工智能战略提供咨询。2019年4月， 欧盟人工智能高级别专家组在广泛研究调研的 基础上发布了《可信人工智能伦理指南》，该 指南列出了可信人工智能评估清单，并在一些 领域开展了实践探索和意见反馈工作，事后发 布了自评估清单。《可信人工智能伦理指南》 从顶层设计的角度提出了构建可信人工智能框 架的3个要素（合法、符合伦理、稳健）、4项 原则（尊重人的自治、预防伤害、确保公平、 具有可解释性）和7项关键要求（实现人类自 主和监管、确保技术稳健和安全、重视隐私和 数据治理、注重透明性、注重多样性非歧视、 实现环境友好和社会福祉、建立问责制）。

2020年2月，欧盟委员会发布了《人工智 能白皮书——欧洲追求卓越和信任的策略》， 阐述了建立卓越和可信人工智能生态系统的清晰愿景，表明了人工智能政策走向将由“强监管“ 转向“发展和监管并重”，并在白皮书中提出 了对人工智能应用实施分类分级监管的政策设想。随后，欧盟委员会就白皮书提出的政策设 想开展了影响评估和意见反馈，分别于2020年 12月和2021年3月发表了评估意见，欧盟委员 会还对4种不同程度的监管政策方案进行认真 审查评估，最后形成了现有的人工智能立法提案版本。

下一步，欧盟委员会还将征集各界对该人 工智能立法提案的修改意见，立法提案经欧盟 理事会和欧洲议会批准通过后直接在欧盟各国 生效实施。立法提案财务陈述中列出了 2023年 相关监管机构的人力成本预算，由此推断，该 人工智能立法提案正式生效预计还需2年时 间。该立法正式实施5年后，欧盟委员会将对 执行情况进行。

从深层次分析，欧盟之所以在全球率先开 展人工智能监管立法，这与其在人工智能领域 的战略定位和注重技术伦理的传统密不可分。欧盟在出台的相关官方文件中分析指出，其很 早就把发展以智能化为基础的经济模式作为主 要战略目标，但由于缺乏风险资本投入和民众 过多顾虑隐私保护等问题，在人工智能应用发 展上落后于中国和美国。为改变这一现状，欧 盟发力构建可信人工智能，抢占全球伦理规则 主导权，通过构建“卓越生态系统”和“信任生态系统”，致力于将欧洲建设成为全球人工 智能研究和创新的“灯塔中心” 。

欧盟委员会目前发布的人工智能立法提案 正文共有85条，另有9个附件。该立法提案规 定，其适用对象包括两大类：一是向欧盟提供 人工智能系统或服务的提供方，不管提供方是 否设立在欧盟境内；二是在欧盟境内人工智能 系统或服务的使用方。该立法不适用于以军事 应用为唯一目的的人工智能系统，以及第三国 公共机构和国际组织与欧盟（或成员国）在执 法和司法合作框架下使用人工智能系统的情况。立法提案的条文内容大篇幅涉及高风险人工智 能系统监管问题，提案的核心思想可概括为以 下5个方面。

2.1　基于对功能和用途等要素的综合风险分 析，提出人工智能系统4级分类治理体系

立法提案从人工智能系统执行的功能以及 系统的具体用途与模式等综合分析角度，将人 工智能应用风险分为4个层级，即从高到低为 不可接受的风险、高风险、有限风险和低风险。这些综合分析因素包括人工智能应用程序的使 用范围及其预期目的、潜在受影响人员数量、 对结果依赖性和损害的不可逆转性，以及现有 的欧盟立法在多大程度上提供了有效的预防措施等。

不可接受（或禁止）的人工智能系统。立 法提案规定禁止以下4种情形的人工智能实践：一是利用个人无法认知的方式部署潜意识技术 以扭曲个人行为，导致或可能导致对该人或他 人的身体或心理造成伤害;二是利用诸如儿童、 残疾人等弱势群体的脆弱性，实质性扭曲与该 人群有关的行为，导致或可能导致对其身体或 心理造成伤害；三是公共部门（或其代表机构） 运用人工智能手段，基于自然人一段时间内的 社会行为或个性化特征数据，对自然人的可信 度进行不当评分或归类，导致自然人受到不利 或不公平对待的；四是出于执法目的在公共空 间使用“实时”远程生物识别系统，但是一些 特殊情况可除外，如寻找特定犯罪受害者或失踪儿童、侦查定位犯罪嫌疑人、处理紧急人身 安全或恐怖袭击等情况下可以破例使用。

高风险人工智能系统。立法提案以附录的 形式（附件二、附件三）专门列出了给自然人 健康、安全和基本人权等方面带来高风险的人 工智能应用附表，主要包括以下两类应用情形：一是该人工智能系统作为特定的产品或系统的 安全组件，如机械产品中涉及的安全组件；二 是该人工智能系统作为独立的产品或系统，如 涉及生物识别、关键基础设施、教育培训、员 工管理招聘、执法、移民和司法等领域应用的 人工智能系统。立法提案指出，立法框架具有 灵活性，应适应发展变化的需要，及时调整高 风险人工智能列表。

有限风险人工智能系统。对于有限风险人 工智能应用，立法提案要求其履行信息透明等 义务，如使用聊天机器人，在使用时应让消费 者知悉其是在与机器进行交互。

低风险人工智能系统。对于低风险人工智 能应用，原则上可自由投入使用，如人工智能 驱动的游戏或病毒过滤等，大多数人工智能应 用属于这一级别。

2.2　重点明确高风险人工智能系统的监管框架, 对其全生命周期监管作出具体规定

立法提案除对所有人工智能系统提出了关 于透明度的普适性要求外，还重点对高风险人 工智能系统监管进行了较为详细的规定，涉及 风险管理、质量控制、数据管理、文档编制、 日志记录、人工监督、可靠性要求，以及投入 市场前的合规评估、登记报告、利益相关方义 务等诸多方面。

风险管理。要求建立贯穿高风险人工智能 系统全生命周期的风险管理系统，识别、分析和评估人工智能系统风险并采取相应的风险管 理措施，通过设计开发、使用者培训等方法降 低风险。

质量控制。要求高风险人工智能系统的供 应商建立质量管理体系，做好系统设计、开发等过程的质量管理和记录。

数据管理。要求在开发系统时所使用的训 练、验证和测试数据集应符合相关的质量标准，如应事先评估数据的可用性、数量和适用性， 检查数据可能存在的偏见等。

文档编制。要求编制高风险人工智能系统 的技术文档，文档内容涉及系统总体描述、系 统具体要素和研发过程等，技术文档应随系统 的使用进行持续更新，保持最新状态。

日志记录。要求系统运行时自动记录日志，日志应具备系统全生命周期的可追溯性以便于 监测运行，记录内容包括系统使用时间、系统 决策参考的数据库、产出结果的输入数据、特殊系统产出结果的鉴定人等。

人工监督。要求高风险人工智能系统的设 计、开发和使用需配备适当的人机界面工具， 以便在使用期间可由自然人进行有效监督、干预系统运行等，发挥人工监督的兜底作用。

可靠性要求。要求高风险人工智能系统的 设计和开发应根据其预期目的达到适当的准确 性、鲁棒性和安全性，可应对运行中发生的错误, 避免非法篡改等。

事前合规评估。要求高风险人工智能系统 在投入市场使用前要进行事前符合性评估，证明其符合强制性规定要求，评估内容主要包括 风险管理、数据管理、技术文档、记录保持、 对用户透明和信息提供、人工监督，以及准确性、 鲁棒性和安全性等方面是否符合立法规定的要 求。高风险人工智能系统一旦做出实质性修改， 就必须接受新的合规评估程序。

登记报告。要求在欧盟层面建立一个高风 险人工智能系统的数据库，提供商将高风险系 统投放市场之前应提前进行有关信息和合规评 估情况的登记。一旦出现严重事故，高风险人 工智能系统提供商有义务及时向国家主管机构 报告情况，并从市场上召回相应产品，国家主 管机构应对事故开展调查。

利益相关方义务。提供商应遵守上述提到 的风险管理、质量控制、数据管理、可靠性要 求、投放市场前的合规评估、登记报告等义务， 境外提供商应在欧盟境内设立代表，以配合国 家主管机构开展的相关监管。制造商若以自己 名义将搭载的高风险人工智能系统投放市场的, 必须遵守立法提案规定的提供商义务。进口商 应确保高风险人工智能系统符合立法提案规定 的要求，并注明商标和联系信息。使用者应按 照系统预期目的和所附的说明使用系统，监测 系统的运行情况并保存好系统日志，报告异常 情况。

2.3　明确主管机构和评估机构的职责，为有序 推进监管提供组织保障

立法提案从欧盟和成员国层面提出了监管 治理架构。在欧盟层面，提出成立由国家监管 机构、欧洲数据保护监管机构组成的欧盟人工 智能委员会，以有效协调推进人工智能监管新 规的顺利实施，促进成员国分享最佳实践。在 成员国层面，要求各成员国指定一个或多个相 应机构来监督规则的实施。

指定机构负责建立必要流程，用以选择、 管理和监督符合性评估机构并处理相关事宜。指定机构应与符合性评估机构设置分离且无利 益冲突，不得开展营利性活动，履行保密义务等。

评估机构负责开展第三方符合性评估活动， 包括测试、认证等。申请成为评估机构应具备 一定条件，要向公告机构提交申请并获得批准。若第三国与欧盟签订协议，则根据该国法律设 立的评估机构可被授权开展符合性评估活动。评估机构将为符合要求的人工智能系统颁发证 书，证书有效期为5年。

2.4　设立人工智能“监管沙箱”，兼顾中小企 业的特殊情况和技术创新需求

欧盟在起草立法提案时，意识到不应过度 监管，必须防止繁文缚节现象的发生，以免阻 碍欧洲人工智能的创新发展。为促进中小企业 和初创企业按照新的人工智能规则继续创新， 立法提案提出建立人工智能“监管沙箱”的设想。

人工智能监管沙箱是由一个或多个成员国 主管当局或欧洲数据保护监管机构提供的一个 控制环境。一些企业可以按照一定的规则，将 其投入市场前的创新性人工智能系统在这一环 境中进行测试和验证。另外，立法提案还提出， 要通过采取人工智能卓越中心网络和公私合作 伙伴等措施，帮助企业开发和部署人工智能。

2.5　提出三类情形的违法处罚原则，企业违法最高罚款达到其全球年营业额的6%

立法提案对违反立法规定的一些情形提出了原则性的处罚规定，要求欧盟成员国根据立 法精神制定处罚规则和采取相应措施，并将处 罚规则通知欧盟委员会。在制定处罚规则时， 要考虑小规模提供商和初创企业的利益和经济 生存能力。

立法提案针对以下三类情形提出不同的行 政处罚力度：一是对违反第5条禁止性实践规 定或第10条数据治理规定的，应处以3000万 欧元罚款，如果违反者为企业的，可没收该企 业全球年营业额的6% （低于3000万欧元的， 处以3000万欧元罚款）。二是对违反除第5条 和第10条以外的人工智能系统要求的，应处以 2000万欧元罚款，如果违反者为企业的，可没 收该企业全球年营业额的4% （低于2000万欧 元的，处以2000万欧元罚款）。三是对于违反 向有关机构报告义务规定的，应处以1000万欧 元罚款，如果违反者为企业的，可没收该企业 全球年营业额的2% （低于1000万欧元的，处 以1000万欧元罚款）。

人工智能将深刻改变未来的经济、社会和 生活，已经成为一个地缘政治、商业利益和安全 问题交汇的重要战略领域。鉴于人工智能技术 的特殊性，欧盟在全球人工智能监管领域率先 立法的举动不可小觑，预计将在规则制定、市 场准入、业态构建和系统设计等方面带来影响。

3.1　在规则制定方面，必然加速全球可信人工 智能监管政策落地的步伐

人工智能是把双刃剑，如果人工智能应用 得不到合理管控，就会出现严重的伦理安全等 风险，造成不良后果，这一问题已经引起全球 高度关注。近年来，一些国家和国际组织接连 出台了有关人工智能伦理和治理的指南，总体 来看，目前全球与控制人工智能危害相关的行 动停留在原则层面较多，还缺乏操作层面的具 体规范。欧盟在其《可信人工智能伦理指南》 和《人工智能白皮书》基础上，出台了人工智 能立法提案，积极推进人工智能分类分级监管 政策的落地实施。虽然欧盟目前发布的人工智 能立法提案还需要进一步修订和经过一定的批 准程序，但欧盟人工智能立法提案的出台与进 展，必然会引起国际上的高度关注，很大程度 上会促进其他国家人工智能监管政策的落地步 伐。2018年欧盟出台的《通用数据保护条例》 在全球产生的影响就是一个先例。

3.2　在市场准入方面，大大提高全球人工智能 企业进入欧盟市场的门槛

欧盟人工智能立法提案提出了基于风险分 析的4级人工智能监管治理体系，要求对高风 险人工智能系统开展市场投放前的强制性合规 评估，鼓励制定行业准则等方式规范非高风险 人工智能系统的应用，这些要求带有强制约束 力，无疑会提高欧洲企业开展人工智能系统研 发和部署的成本。另外，立法提案明确指出， 该立法适用范围还包括为欧盟提供人工智能系 统或服务的全球各类经济主体，人工智能系统 的进口商必须确保外国供应商已经执行了适当 的合规评估，并带有欧洲合格标志（CE）和法 规要求的技术文件。这些规定对拟进入欧盟人 工智能应用市场的全球企业来说，必然会提高 其市场准入门槛。

3.3　在业态构建方面，即将拉开人工智能安全 保障和评估评测业务市场的序幕

鉴于算法不透明和数据等问题，如何将安 全伦理规则具体落实到人工智能系统和产品的 设计、部署和应用过程，做到有效把控是当前 全球亟待破解的难题。随着人工智能与各行各 业融合应用的不断深入，其潜在的安全风险不 断增大，数据集质量、算法安全、对抗样本攻 击等成为新的挑战，客观上需要对人工智能安 全保障问题作出明确要求。欧盟人工智能立法 提案对高风险人工智能应用作出了全生命周期 管理的一些强制性规定，特别是市场准入前的 强制性合规评估，这为建立人工智能安全保障 生态奠定了法律依据，在保障人工智能产业健 康发展的同时，也从政策上营造了人工智能安 全保障领域的市场需求，为开展第三方合规评 估市场创造了有利条件。随着全球监管政策的 进一步落地，预计2023年前后全球人工智能安 全保障市场将迎来大力发展的有利时机，人工 智能安全保障技术和合规性测评技术的研发和 应用将成为人工智能领域的一个新赛道。

3.4　在系统设计方面，倒逼人工智能从业者更 加负责任地思考人工智能技术的设计和应用

欧盟立法提案综合人工智能系统的性能和 应用场景等诸多因素，将人工智能系统分为禁 止、高风险、有限风险和低风险4个级别，明 确了哪些情形的人工智能应用是被禁止的，哪 些领域是属于高风险人工智能应用，如果从事 禁止领域的人工智能开发设计和提供服务，就 属于违法行为，会受到严厉处罚。虽然立法提 案提出的禁止领域还有可能发生变化，附录的 高风险领域列表清单也会随着发展而不断调整, 但是，欧盟通过立法的方式把人工智能伦理原 则付诸落地，具有强制约束力，从而引导和倒 逼人工智能从业者在设计和应用时认真遵守技 术向善的指导原则。另外，立法提案规定市场 准入前的强制性评估内容涉及人工智能系统全 生命周期中的数据管理、风险管理、质量控制、 技术文档和安全鲁棒等要求，这也促使从业者 认真遵守人工智能系统事前、事中和事后的各 项管理规定。

欧盟人工智能立法提案一旦通过，就直接 在欧盟成员国付诸实施，如何应对也成为我国 业内关注的重点话题。为此，提出以下两点建议。

4.1　对内：研究出台人工智能安全治理规范指 南，适时形成具有约束力的政策要求

我国具有广阔的智能化应用场景，随着融 合应用的不断深入，人工智能安全治理的重要 性也日益得到重视。我国国家新一代人工智能 治理专业委员会发布《新一代人工智能治理原 则——发展负责任的人工智能》，近年来，相 关行业在一些热点应用领域开展了人工智能安 全治理实践，如在智能网联汽车领域出台了若 干管理规定，一些业内企业和科研机构也联合 出台了行业自律性宣言，领域性的细分标准正 在陆续起草出台，建议下一步在这些积极探索 实践的基础上，加快具有顶层指导意义的人工 智能分类分级安全治理规范体系的研究，可先 以指南或标准的方式形成通用规范，待条件成 熟时，形成具有约束力的政策要求，以更好地 指导和规范各行业领域的人工智能融合应用， 促进人工智能健康有序发展。

4.2　对外：加强国际交流与合作，尽可能地降 低企业进入海外市场的门槛

欧盟拟采用统一符合性评定方式加强对人 工智能产品或服务的监管，以成员国国家主管 部门合作框架的形式建立欧洲的人工智能治理 结构。想要进入某个成员国内部市场的第三国 经济主体可以利用欧盟指定机构进行评估，或 者在与第三国达成互认协议的前提下，委托第 三国指定机构进行相应的评估。为此，一方面 要鼓励专业力量加强对欧盟人工智能监管政策 的跟踪分析，指导企业吃透欧盟政策要求，做 好应对准备；另一方面，要加强人工智能发展 与监管领域的国际交流与合作，为我国企业提 供更便利、更就近的合规评估服务，尽可能降 低企业进入海外市场的门槛。

人工智能作为科技创新的下一个“超级风 口”，将对全球经济社会发展带来深刻影响。鉴于当前人工智能技术算法不透明等特点，在 大力推进人工智能与各行业融合应用的同时， 应加快出台体系化、可落地的安全风险应对措 施，做到未雨绸缪。欧盟人工智能立法，不仅 提出了4级分类监管治理体系，还对高风险人 工智能应用提出了全生命周期监管的要求，在 推动全球人工智能伦理规则和安全指南加速落 地的同时，也为建立人工智能安全保障生态奠 定了法律基础。

《信息安全与通信保密》杂志投稿

联系电话：13391516229（微信同号）

邮箱：[email protected]   

《通信技术》杂志投稿