翻译：林奕, CIPM, CIPP/E, CIPP/CN, CIPT @BSI
校对：梦轶
高风险人工智能系统的必须非常熟悉欧盟人工智能法案第三章。这一章的第二节和第三节规定了提供者在把投放欧盟市场时必须满足的要求。
对这些不同要求进行分类的一个方法，是将它们大致划分为组织要求、文件要求、系统设计要求和监管要求，同时我们也需认识到，某些条款与其他条款同时适用。
一、关于产品安全、金融机构与人工智能素养
一、产品安全、金融机构与人工智能素养
对于同时受欧盟统一立法（见附录一的A节）规定的人工智能系统的产品应采取不同的方法。例如，这些产品受关于机械、玩具安全、电梯、医疗设备和体外诊断医疗设备的其他欧盟指令和条例的规制。
在此情况下，根据第8条第2款，提供者“可以选择将必要的测试和报告流程、信息和文件与欧盟统一立法要求的文件和程序相整合”。本法案也鼓励采用这种方法，以确保一致性、避免重复，并尽量减少额外的合规负担，例如，根据第11条第2款的规定，高风险人工智能系统的提供者者可以凭借一套技术文件集实现合规。
与之类似的，当主体是同时受欧盟金融服务法约束的金融机构时，人工智能法案允许人工智能提供者在某些情形下避免重复的合规义务。根据人工智能法案第17条第4款，提供者通过实施欧盟金融服务法规定的内部治理机制或流程，来履行建立质量管理体系有关的部分义务。
根据第三章第4条（译者注：第4条应在第一章中）的要求，无论是否为高风险，任何人工智能系统的提供者，都必须确保其组织内有足够的人工智能素养（AI literacy）。负责处理和使用人工智能系统的员工和“其他人”（在实践中，很可能是承包商等），必须具备足够的技能、知识和理解能力，以便能在人工智能系统部署时作出明智的决策，同时了解人工智能带来的机会、风险以及它可能造成的损害。当然，这并不意味着每个人都需要表现出相同水平的人工智能素养——履行这一义务时应考虑人工智能系统所使用的情境、谁将使用它，以及将会受到影响的人。
二、第8-22条评述与解读
这一部分包含了欧盟人工智能法案第三章第8条至第22条，对高风险人工智能系统提供者的核心要求的概述，及作者的解读。
第8条：合规要求
第8条指出，高风险人工智能系统必须符合第二节中的要求。
第二节的标题是“高风险人工智能系统的要求”，但一开始我们并不清楚，谁需要遵守该节的要求。这一点在第三节第16条第1款中变得明确，该条款指出，高风险人工智能系统的提供者必须“确保其高风险人工智能系统符合第二节中列出的要求”。同样，所有具有切身利益的相关方都有确保高风险人工智能系统符合第二节要求的义务。例如，依照第23条第1款(b)项的规定，进口商需要确保人工智能系统的提供者已经准备了根据第11条所要求的技术文件，然后才能将高风险人工智能系统投放市场。
此外，部署者依赖提供者遵守适用的多项义务，以便其自身能够履行自己的义务。例如，部署者需要理解提供者根据第13条要求制定的“使用说明”，并能够有效使用提供者所设计的用于人类监督的措施，如第14条所规定。（本系列文章的第四篇将讨论进口商和部署者关于高风险人工智能系统的义务。）
**对运营的影响是什么？**
在欧盟提供高风险人工智能系统的提供者必须遵守第二节的要求。根据第8条，对合规性的判断，可以考虑高风险人工智能系统的预期目的，以及公认的人工智能与相关技术的“当前技术水平”(state of the art, SOTA)。（译者注：可参考EDPB提供的GDPR第25条的指南、及ISO 14971:2019对“当前技术水平”SOTA的解释。）
第9条：风险管理体系
第9条要求提供者识别并管理与高风险人工智能系统相关的风险。就高风险人工智能系统本质而言，无论从产品安全还是基本权利的角度来看，其都被认为都具有更大的风险。因此，要求提供者建立、实施、记录和维护风险管理系统也就不足为奇了。
**对运营的影响是什么？**
识别与人工智能系统相关、已知或合理可预见的风险。
根据识别的风险采取适当和针对性的风险管理措施。
测试人工智能系统，以确保采取了最合适的风险管理措施。
风险管理体系不只是发生在人工智能系统投放欧盟市场之前的一劳永逸的工作。
它是一个“持续迭代的过程”，贯穿于人工智能系统的整个生命周期。提供者应预估并评估人工智能系统用于预期目的时可能出现的风险。提供者还应评估其他可能在投放市场后监视过程中收集的数据，这是法案第72条的要求——部署者应向提供者提供数据。提供者应确保其与部署者的合同中包含一项规定，要求部署者提供有关人工智能系统性能的信息，以帮助提供者根据第8条至第15条要求评估其是否合规。
此外，提供者应留意并预见到他们投放市场的人工智能系统被其他方、分销商、进口商、部署者或其他第三方修改或以其品牌提供的情况，从而使该行为者成为高风险人工智能系统的提供者。这种情况涉及第25条下的义务，该条款列出了人工智能价值链中的职责，包括最初的或原始的提供者需要与人工智能系统的新提供者密切合作。最初的提供者应提供必要的信息和技术访问权限，除非最初的提供者原本规定其非高风险人工智能系统不应被更改为高风险人工智能系统。提供者订立的合同及其附带文件中规定的内容，将是限制其他行为者如何使用人工智能系统的关键。
风险在人工智能法案第3条第2款中被定义为“发生损害的可能性与该损害严重性的组合”，这概括了一个在国际标准化组织ISO 14971《医疗器械的风险管理标准》中相对容易理解的概念。采取这种方法定义风险，明确地将人工智能法案下的风险概念与产品安全和对个人潜在损害的领域联系起来。
通过人工智能系统的设计和开发，在技术上可行的情况下消除或减少风险。
在适当的情况下，实施适当的缓解和控制措施，应对无法消除的风险。
提供第13条的透明度要求，并在适当时，向部署者提供培训。
因此，提供者必须准备向使用其高风险人工智能的部署者提供适当的风险管理培训。提供者还必须测试人工智能系统，以识别最适当的和有针对性的风险管理措施。根据法案第60条的要求，此类测试可能包括在现实世界条件下的测试。提供者还有义务考虑人工智能系统的预期目的是否意味着系统可能会对18岁以下的儿童或其他弱势群体产生不利影响，即儿童或弱势群体是否可能暴露于人工智能系统运行的环境，并因此可能受到影响。
第10条：数据和数据治理
数据集是运行AI系统的核心。第10条要求提供者实施数据治理和管理实践，以确保这些数据集是适宜的。例如，它特别允许使用特殊类别数据用于偏差检测目的。
第10条主要适用于开发那些使用数据训练AI模型的高风险人工智能系统提供者。如果高风险人工智能系统的开发不涉及使用数据训练AI模型的技术，那么根据法案第10条第6款，要求仅适用于测试数据集。其他要求则适用于训练、验证和测试数据集。
**对运营的影响是什么？**
高风险人工智能的提供者必须实施的管理实践包括，但不限于：
关于数据收集方式和数据来源的信息。对于个人数据，这意味着数据收集的原始目的；
相关的数据准备处理操作，例如，注释、标记和清洗；
检查可能影响个人健康和安全的偏见，对基本权利产生负面影响或导致被禁止的歧视。
采取适当措施检测、预防和减轻识别到的，可能发生的偏见。
识别阻碍遵守人工智能法案的相关数据缺口或不足，以及如何解决这些缺口或不足。
提供者还必须确保所有三种类型的数据集——训练、验证和测试——都是相关的，具有足够代表性的，并且尽可能，没有错误、并且是完整的，以满足预期目的。数据集还必须具有适当的统计意义，并且必须考虑到人工智能系统预期使用的具体地理、上下文、行为或功能设置的特性或元素。需要注意的是，虽然提供者应该能够界定人工智能系统的预期目的，但可能无法预见部署者可能使用系统的所有差异化设置。
第10条特别允许为了确保偏见检测和纠正而处理特殊类别的个人数据（译者注：参考《通用数据保护条例》 GDPR第9条）。然而，在遵守GDPR的基础上，提供者还必须满足额外条件才能将特殊类别的个人数据用于此目的，这些条件包括：
证明使用其他数据，包括合成数据或匿名化数据，不足以检测和纠正偏见。
确保特殊类别数据受到严格的访问控制，只有经过授权的人员才能访问数据。
确保数据不被其他方处理——但我们理解，对这一条款要求的严格解释可能意味着提供者，作为其人工智能管理体系的一个环节，不能引入第三方数据处理者。
确保特殊类别数据在偏见被纠正或数据达到保留期限后被删除。
第11条：技术性文件
履行法案第11条下的义务可能需要提供者付出相当大的努力。第11条要求详细描述与人工智能系统相关的技术细节，如系统架构、训练方法和网络安全措施。提供者必须在高风险人工智能系统投放市场或投入使用之前创建这些文件，并保持其为最新状态。
**对运营的影响是什么？**
人工智能系统的一般描述。 人工智能系统元素及其开发过程的详细描述。 关于人工智能系统监控、运行和控制的信息。 对特定人工智能系统性能指标适当性的描述。 风险管理系统的详细描述。 提供者在其生命周期内对人工智能系统所做的相关变更的描述。
第12条：记录保存
鉴于能够追溯高风险人工智能系统的自动化操作的重要性，尤其是当系统的运行造成了损害，同时也为了确保人工智能系统按照其预期目的运行，在法案第12条要求下，提供者必须设计人工智能系统，使其在其生命周期内自动记录或生成事件日志。而有关这些日志的相应保留期限，需要参见第19条。
**对运营的影响是什么？**
人工智能系统应该被设计为可以记录相关事件，以识别可能导致人工智能系统成为“存在风险的产品”，或涉及“实质性修改”。记录这两种情况本质上是为了标记对个人的损害和对人工智能系统的重大更改。
在欧盟2019/1020号条例第3条第19项，将存在风险的产品定义为有潜在可能性对个人、“环境、公共安全和受适用的欧盟统一立法保护的其他公共利益产生负面影响的产品，就其预期目的，其程度已超出合理和可接受的范围，或在相关产品的正常或可合理可预见的使用条件下，被所认为的合理和可接受的范围”。
在人工智能法案第3条第23款中，实质性修改被定义为在人工智能系统投放市场后对其其进行的改动，这种改动在提供者进行的初始符合性评估中并没有计划或预见到，以至于影响到第三章第二节的合规性或导致人工智能系统的预期目的发生变化。
此外，人工智能系统应该被设计为记录有助于根据法案第72条要求的投放市场后监测系统的事件。人工智能系统还应该被设计为记录与监测法案第26条第5款“部署者使用的人工智能系统”中提到的高风险人工智能系统的运行相关的事件。
每次使用系统的期间（每次使用的开始日期和时间以及结束日期和时间）的记录；
系统检查输入信息所引用的参考数据库；
当系统找到了匹配的结果时，搜索时所输入的信息；
根据法案第14条第5款，依据验证结果对个人的识别。”
第13条：透明度和向部署者提供信息
法案第13条并不涉及在受高风险人工智能系统影响时，对个人的透明度要求——有关个人数据处理的透明度要求由GDPR规定。反之，对提供者的透明度要求是为了确保人工智能系统的开发对部署者应当足够透明。人工智能系统的运行必须能使部署者可以解释系统的输出并适当地使用这些输出。特别是，人工智能系统的设计必须使提供者和部署者都能够履行他们在第三节下的义务。
**对运营的影响是什么？**
提供者必须确保其人工智能系统附带简洁、完整、正确和清晰的使用说明，以便为部署者提供相关、可访问和全面的信息。使用说明必须包含下述的信息：
提供者及其任何受权代表的身份和联系方式。 高风险人工智能系统的特性、能力和性能限制。 法案第14条提到的人类监督措施，包括为帮助部署者解释高风险人工智能系统的输出而采取的技术措施。 部署者运行人工智能系统所需的计算和硬件资源的详细信息，其预期寿命以及任何必要的维护和包含保养频率、软件更新的保养措施，以确保人工智能系统的正常运行。 在相关时，描述包含在高风险人工智能系统中的机制，使部署者能够根据法案第12条适当地收集、存储和解释事件日志。
第14条：人类监督
对高风险人工智能系统进行人类监督是一个核心要求，这一点应该不会让人感到意外。根据法案第14条第1款，提供者所设计和开发的高风险人工智能系统，是可以便于自然人对其进行有效监督。法案第14条第2款指出人类监督的目的是防止或最小化使用人工智能系统可能引发的健康、安全或基本权利风险。
**对运营的影响是什么？**
在技术上可行的情况下，由提供者在高风险人工智能系统投放市场或投入使用之前确定并构建到系统中的措施；或
提供者在将高风险人工智能系统投放市场或投入使用之前确定的措施，应适合由部署者实施。”
理解高风险人工智能系统的相关能力和局限性，并以适当的方式监控其运行，包括检测和解决异常情况、故障和意外表现。 保持对自动化偏见可能性的觉察。 正确解释高风险人工智能系统的输出，并考虑可用的解释工具和方法。 在此背景下，由于远程生物识别系统识别个人身份（对权利和自由）的重大影响，，其将受到额外的人类监督要求的约束。
第15条：准确性、稳健性和网络安全
根据法案第15条，提供者所设计和开发的高风险人工智能系统，应使其达到适当的准确性、稳健性和网络安全水平，并在其整个生命周期内一致地保持这些方面的性能。
**对运营的影响是什么？**
尽管欧盟委员会可能将鼓励开发测试基准和测量方法来为此提供指导，提供者应能够测量准确性水平。根据法案第13条，提供者必须确保他们向部署者提供的使用说明中，应该包括人工智能系统的准确性水平和相关准确性指标。
根据法案第15条，提供者必须确保人工智能系统“尽可能地对系统中可能出现的错误、故障或不一致性，或系统运行环境中可能出现的问题具备韧性，特别是由它们与自然人或其他系统的互动产生这些问题时”。此外，人工智能系统 “在被投放市场或投入使用后仍在继续学习，应以尽可能消除或减少可能有偏见的输出影响未来操作的输入（反馈回路）的风险的方式开发，并确保任何此类反馈回路都通过适当的缓解措施得到妥善处理”。
法案第15条特别指出了针对人工智能系统的某些网络威胁，如数据投毒、模型投毒和对抗性示例。高风险人工智能系统必须能够抵御未经授权的第三方通过利用系统漏洞来改变其使用、输出或性能的企图。
第16条：高风险人工智能系统提供者的其他义务
法案第16条标志着第三章第三节的开始，“高风险人工智能系统提供者和部署者以及其他方的义务。”第16条确定了第二节下提供者的所有要求，以及提供者的额外义务，例如需要将表示欧洲合格评定的CE标志固定在人工智能系统上，以及在欧盟数据库内注册人工智能系统。
确保提供者的名称、注册商品名或商标以及地址在高风险人工智能系统、或其包装，或文件上标明。 确保人工智能系统按照法案第43条的要求进行相关的符合性评定。 准备法案第47条中规定的欧盟合格声明。 根据法案第48条将CE标志“粘贴”在人工智能系统及其包装或文件上。 在适用的情况下，在欧盟数据库中注册人工智能系统，如法案第49条所规定。此项要求只适用于附录三中的高风险人工智能系统。 确保人工智能系统符合欧盟的无障碍要求。
**对运营的影响是什么？**
法案第16条为高风险人工智能系统的提供者提供了一个有用的清单，以了解他们的义务，尽管它没有完整列出第二节的义务，并且超出了第三章的范围。许多合规义务在将人工智能系统投放市场之前主动履行，而其他义务与人工智能系统的持续运营有关，或是对事件做出的反应。
第17条：质量管理体系
法案第17条与GDPR下的问责要求类似。提供者需通过质量管理体系的书面方针、程序和指示来说明提供者如何遵守人工智能法案。
**对运营的影响是什么？**
法规合规战略； 用于人工智能系统的设计、设计控制和设计验证的技术、程序和体系化的合规动作； 用于人工智能系统开发、质量控制和质量保证的技术、程序和体系化的行动； 在人工智能系统开发之前、期间和之后进行的检查、测试和验证程序，以及必须开展这些行动的频率； 需要应用的技术规范，包括保障措施； 创建、实施并维护市场后监视体系，即收集、记录和分析部署者提供的数据，或通过其他来源收集的关于高风险人工智能系统在其整个生命周期内性能的数据。
第18条：文件保存
第18条要求提供者保留有关人工智能系统的关键文件10年，以备成员国主管机关需要时查看。
**对运营的影响是什么？**
提供者需要有一个安全的存储来保存相关文件，包括技术文件、质量管理体系文件和欧盟合格声明。他们应该准备好向成员国监管机关提供这些文件。
第19条：自动生成的日志
法案第19条要求提供者将人工智能系统自动生成的日志至少保存六个月。
**对运营的影响是什么？**
提供者需要实施一个可依据日期或时间便捷访问的日志存储机制，此外，还必须确保考虑到所生成日志的适当保留期限，尤其是包含个人数据的日志。
第20条：纠正措施及信息义务
根据法案第20条，如果提供者认为其已经投放市场或投入使用的高风险人工智能系统不符合人工智能法案，必须立即采取必要的纠正措施，使其系统符合规定，或依据情况撤回、停用或召回该系统。
**对运营的影响是什么？**
提供者需要知道其负责的人工智能系统的使用情况。提供者应该能够通过实施法案第17条和第72条提到的市场后监视体系来获得这部分信息。
如果提供者得知人工智能系统不符合规定，它必须把有关不符合规定的人工智能系统的信息通知分销商以及在适用情况下通知部署者、进口商和受权代表。此外，如果存在根据法案第79条设定的与产品责任相关的风险，它必须立即调查原因，并在适用情况下通知市场监管机关和公告机构。
第21条：配合主管机关
提供者必须根据要求向主管机关提供相关信息，并允许他们访问法案第12条中提到的日志。
**对运营的影响是什么？**
提供者应确保其人员能够通过其提供相关培训和意识培养来识别来自监管的要求。一旦收到主管机关的请求，提供者必须迅速作出回应。
第22条：高风险人工智能系统提供者的受权代表
第22条要求不在欧盟设立的提供者根据授权在欧盟指定一个受权代表。
**对运营的影响是什么？**
提供者和代表之间的指令必须授权代表执行某些任务，以验证人工智能系统的欧盟合格声明和技术文件，并在人工智能系统投放市场后10年为主管机关保存文件和信息，并配合监管。如果代表有理由认为提供者正在违反其在人工智能法案下的义务，代表也可以终止授权。
附件：高风险AI系统提供者的法定义务速查表
第8条至第22条包含对高风险人工智能系统提供者的核心要求，我们可以将这些要求分解并用下表表示。我们将在本系列文章的第四部分中，继续对非提供者使用高风险人工智能系统的义务进行评估。
点击“阅读原文”访问官网。
IAPP
之一 ...
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论，来说两句吧...