关于AIGC的100个想知道（美国篇）

Q48. 目前全球各国对于AI的监管现状如何？各自监管体系有哪些显著特点？

（以下观点初成于2024年1月，随着实务进展，各国AI监管的情况发生新变化，下文将进行增补）

世界各个国家和地区陆续出台了相关法规文件，以规制人工智能的开发和使用。卡内基国际和平基金委员会（Carnegie Endowment for International Peace）总结了目前世界上既有的两种人工智能监管实践思路，分别是纵向和横向的方法。纵向方法是指监管部门根据不同的人工智能技术进行差异化的监管策略设计，而横向方法则是指监管部门针对人工智能技术设计一套综合性的法规，以应对人工智能带来的风险与挑战。

（注：Matt O’Shaughnessy, Lessons From the World’s Two Experiments in AI Governance, February 14, 2023, https://carnegieendowment.org/2023/02/14/lessons-from-world-s-two-experiments-in-ai-governance-pub-89035.）

具体而言，欧盟对于人工智能的治理与监管具有典型的横向特色。欧盟于2021年4月21日推出了《人工智能法案》（EU AI Act）。《人工智能法案》采取了一种基于风险的方法（risk-based approach）来规制人工智能在公共部门和私营部门的使用。EU AI Act将人工智能系统分为四个不同的类别，包括不可接受的风险（unacceptable risk）、高风险（high-risk）、限制性风险（limited risk）以及最小风险（minimal risk）。我国基于问题导向，监管思路具有“纵向风格”。近些年来，中国先后颁布了《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》以及《生成式人工智能服务管理暂行办法》，重点聚焦社会热点问题，如“大数据杀熟”“骑手困在系统里”以及“人工智能生成内容”。

此外，也有相关研究者基于G7国家相关案例，从相关规范的强制性程度视角，总结不同国家对于人工智能的监管特色。其一是全面的、基于硬法的路径，即出台法规规定了相关义务，若违反将受到制裁，典型国家如适用欧盟《人工智能法案》的法国、德国和意大利，以及提出《人工智能和数据法案》（AIDA）的加拿大。若美国通过《算法问责法案》或类似的法案，则也可能被归入这一类。其二是采取“针对具体行业和基于软法”的路径，如通过不具备约束力的指导促进人工智能治理，日本、英国即属于这一类。

（注：Hiroki Habuka, Japan’s Approach to AI Regulation and Its Impact on the 2023 G7 Presidency, February 14, 2023, https://www.csis.org/analysis/japans-approach-ai-regulation-and-its-impact-2023-g7-presidency.）

（新观点增补）

在欧盟方面，2024年5月，《人工智能法案》由欧盟理事会正式批准通过，法案的最终文本形成，并将于2026年8月2日完全适用，但部分具体规定除外。2024年7月，欧洲数据保护委员会发布《关于数据保护监管机构在人工智能法案框架中的作用的第 3/2024 号声明》（Statement 3/2024 on data protection authorities’ role in the Artificial Intelligence Act framework），强调《人工智能法案》和欧盟数据保护的相关立法，包括GDPR等，在原则上互为补充、互相加强，欧盟数据保护法完全适用于人工智能系统生命周期中涉及的个人数据处理。

在英国方面，2023年11月23日，英国上议院科技特设委员会成员（House of Lords Select Committee on Science and Technology）的议员霍姆斯（Lord Holmes of Richmond）提出了《人工智能监管法案》，已于2024年3月22日完成二读。法案旨在为人工智能监管及相关目的订立统一规则，内容仅有9条，核心内容是设立人工智能局，同时明确了人工智能监管应当遵循的基本原则。

Q49. 美国针对AI的监管现状如何？

（以下观点初成于2024年1月，随着实务进展，各国AI监管的情况发生新变化，下文将进行增补）

美国并未具备与欧盟《人工智能法案》类似的综合性人工智能立法，有关人工智能的监管行动异常分散，大量的资源投入了人工智能研发以及政府的人工智能能力建设。相较于欧盟基于《人工智能法案》的强监管风格，美国更侧重于不具有法律效力的软法治理。[1]为更好理解美国对于人工智能的监管，我们需关注其监管框架的三个方面，分别是白宫进行政策方向指引、国会进行立法以及相关的联邦机构进行执行。

有相关研究者指出，由于国会控制权分散，并且两党对于横向监管的兴趣有限，因此可能仍然不会采取全面的人工智能立法。但是，两党可能会在隐私、平台透明度或者保护在线儿童等主题的立法方面达成一致。此外，国会对于政治竞争的关注也可能会导致其进一步加大对人工智能研发的投资。值得注意的是，美国政府的更替也会使得其对人工智能的监管政策发生变化。例如，在特朗普政府时期，消费者金融保护局的工作人员对债权人对算法的使用采取不干涉态度，而拜登政府所任命的人员则主张紧缩政策。因此，当尚未清楚下一届政府是否会继续跟进先前政策时，联邦机构可能会放慢其合规脚步，以避免重复性的工作。[2]

（一）联邦层面

1. 美国国会

美国国会通过的与人工智能相关的重要立法主要是倡议性而并非是规制性的，且侧重于鼓励政府自身使用人工智能。譬如国会在《2020年国家人工智能倡议》中呼吁“确保美国在人工智能研发领域继续保持领先地位”，在《2020年政府人工智能法案》中指出，要“促进联邦政府采用人工智能技术”。有相关研究者指出，监管私营部门的人工智能立法提案，譬如（《算法问责法案》）难以获得关注。[3]《人工智能风险管理框架》（RMF）是国会特别授权NIST制定的，象征着国会对于人工智能监管的宽松态度。[4]总体而言，美国国会的努力倾向于通过向各机构提供所需要的工具与知识以提升政府的监管能力，但是避免对如何处理人工智能提出具体的要求，这在一定程度上为未来更具约束力的监管留下了更多的弹性空间。

联邦层面的《算法问责法案》更偏向“硬法”。美国《算法问责法案》（草案）（AAA）于2019年首次提出，旨在强制公司识别和解决其系统中的人工智能偏见。《算法问责法案》要求对“高风险”的自动决策系统进行影响评估。[5]

值得注意的是，在2022年6月，美国众议员和参议员发布了《美国数据隐私与保护法案》（草案）（ADPPA），这是首个获得两党两院支持的全面联邦隐私立法草案。[6]ADPPA与GDPR以及CCPA（《加州消费者隐私法案》）均不同，ADPPA除涉及数据治理之外，还对人工智能算法进行了监督，以确保它们是安全以及无偏见的。如果获得通过，该法案将要求企业审核其算法，并且向联邦贸易委员会解释其工作原理，收集哪些数据以及如何使用这些数据。[7]相关报道指出，此法案已经获得了两党的支持，即便本届国会没有通过，但是类似的立法也可能会在将来通过。ADPPA要求在算法设计阶段进行人工智能算法评估，该立法还要求大数据的持有者（large data holders）评估其算法并且每年向联邦贸易委员会提交影响评估，评估必须描述组织已经采取或者将要采取的减轻算法潜在危害的措施。

2. 白宫

白宫的角色为领导联邦机构解释、执行国会通过的法律，其政策方针在历届政府之间可能会发生一定变动。

特朗普政府时期，2019年，美国发布行政命令《维持美国在人工智能领域的指导地位》（EO 13859），该行政命令概述了五个关键领域，包括研究与开发、释放人工智能资源、建立人工智能治理标准、构建人工智能劳动力以及国际保护与合作。[8]随后，管理和预算办公室（OMB）指南（M-21-06）提出了第一个联邦人工智能监管办法。这些文件反映了特朗普政府的最低限度监管观点，但是也同时要求各机构制定计划监管人工智能应用。最终只有一个主要机构，即卫生与公众服务部（HHS）提供了一项全面的监管计划。[9]

拜登政府并未进一步实施EO 13859，而是通过《人工智能权利法案蓝图》Blueprint for an AI Bill of Rights （AIBoR）[10]重新审视了人工智能风险。AIBoR由白宫科学技术政策办公室（OSTP）制定，仅仅是不具备约束力的指导。AIBoR阐述了人工智能对经济和公民权利的危害、减轻这些危害的五项原则以及联邦机构的相关行动清单。AIBoR强调不同部门针对人工智能治理分别采取特定的方法，一些机构作出了相应的行动，另一些机构并未作出回应。拜登政府着重强调种族平等原则，于2023年2月发布了《通过联邦政府进一步促进种族平等和支持服务不足社区》的行政命令（EO 14091）。

相关学者指出，拜登和特朗普的人工智能政策方针在很大程度上重叠。拜登政府并未执行，但是也并未废除特朗普政府时期对于人工智能的行政命令，这在一定程度上表明两者在相关政策方面并未存在彻底的分歧。[11]

3. 联邦机构

根据国会授予的权力，联邦各机构负责具体执行国会制定的法律。在实践中，各联邦机构采取行动的程度差异较大。

美国国家标准与技术研究院（NIST）发布了《人工智能风险管理框架》AI Risk Management Framework （RMF），该框架于2022年3月作为草案首次发布，并于2023年1月发布最终版本。有相关学者指出，《人工智能风险管理框架1.0》是最受业界关注的监管文件。[12]NIST AI RMF是一个自愿框架，建立在经济合作与发展组织（OECD）人工智能系统分类框架的基础上，对何时以及如何在整个人工智能生命周期中管理风险提出了较为全面的建议，并且提供了在各种组织中实施《蓝图》原则的工具。[13]NIST还在开发新的AI RMF手册，包含实体如何在AI的数据收集、开发、部署和运营中实施RMF的具体案例。

（二）州层面

就州层面的立法而言，多数州尚未推出有关人工智能的专门立法，但是其隐私法案或者消费者数据保护法能够从消费者数据以及自动化决策方面进行一定的规制。

2019年，伊利诺伊州推出《人工智能法案视频面试法案》（Illinois AI Video Interview Act），其于2021年再次修订并于2022年生效，法案对使用人工智能评估的雇主提出如下要求，如告知申请人人工智能的使用，解释人工智能的工作原理以及它用来评估申请人的一般特征类型，征得同意。

在隐私与数据保护方面立法较为活跃的加利福尼亚州曾于2018年推出《支持在线透明度法案》（The Bolstering Online Transparency Act SB 1001），该法案于2019年7月生效。该法案规定，个人或实体使用机器人与加利福尼亚州的个人进行在线交流或互动，以激励商品或服务的销售或交易，或影响选举中的投票，而不披露交流是通过机器人进行的，均属违法行为。《加州隐私权法案》（CCPA）对数据分析与自动化决策作出了一定规制，CCPA赋予消费者对于企业使用“自动决策技术”的选择退出权，还要求企业对给消费者隐私或者安全带来重大风险的处理活动进行隐私风险评估（但是尚未定义重大风险）。[14]

此外，许多州提出了类似联邦层面的《算法问责法案》，[15]如加利福尼亚州的《自动决策系统责任法案》（Automated Decision Systems Accountability Act）、新泽西州的《算法责任法案》（Algorithmic Accountability Act）以及华盛顿特区的《停止算法歧视法案》（Stop Discrimination by Algorithms Act）。

表 1 美国人工智能相关规范文件（白宫方面）

表 2 美国人工智能相关规范文件（国会方面）

表 3 美国人工智能相关规范文件（联邦机构方面）

在生成式人工智能的监管方面，2023年4月11日，美国商务部下属的国家电信和信息管理局（NITA）就人工智能系统的潜在问责措施征求公众意见。NITA指出，需要了解哪些政策可以支持人工智能审计、评估、认证和其他机制的发展，从而为人工智能系统赢得信任。[16]此外，2023年4月13日，相关报道指出，参议院多数党领袖Chuck Schumer正在采取早期措施，制定监管人工智能技术的立法，其目标是制定有弹性的法规，以适应人工智能的技术进步，并且在创新与对安全性、问责制和透明度的需求之间获得平衡。[17]

总而言之，为维持自身在人工智能领域国际领先地位的需要，目前美国对于人工智能的治理持有较为开放的监管策略。[18]

（新观点增补）

在联邦层面，2024年2月20日，美国众议院正式成立两党人工智能特别工作组，试图解决其在人工智能立法工作上停滞不前的困境。众议院议长、共和党众议员Mike Johnson和民主党领袖哈Hakeem Jeffries任命了两党具有一定人工智能专业知识的12名成员加入工作组。特别工作组将编写一份包括指导原则、前瞻性建议以及与各管辖委员会协商制定的两党政策提案的综合报告。在立法目标上，工作组旨在探索国会如何确保美国继续在人工智能创新方面领先世界，同时考虑适当的保障措施。

在州层面，2024年5月17日，美国科罗拉多州州长Jared Polis签署了《人工智能消费者保护法》（SB24-205 Consumer Protections for Artificial Intelligence），将于2026年2月1日生效。该法案在《科罗拉多州修订法规》（Colorado Revised Statutes）中加入了有关于人工智能系统的使用规定，从防范算法歧视切入，主要关注与人工智能交互中的消费者保护，借鉴了欧盟人工智能法的许多理念，包括对“高风险人工智能系统”的特别规制。这是美国第一部对人工智能及其应用提出具体要求的综合性人工智能监管立法，可能会促使其他州加快立法进程。但州层面的先行监管可能导致法律的碎片化，增加企业特别是跨州运营的中小企业的合规成本。

2024年8月16日，美国加州《前沿人工智能模型安全创新法案》（SB 1047 Safe and Secure Innovation for Frontier Artificial Intelligence Models Act）在经过大幅修改和争议之后，最终通过加州众议院拨款委员会的审核，进入州议会的最终审议阶段。法案如若在议会中获得通过，将由加州州长做出是否签署该法案的最终决定。法案旨在防止大型AI系统造成重大人员伤亡或巨额网络安全损失，其通过与否，将对美国未来的人工智能监管架构形成深远影响，也可能在全球引发涟漪效应。

脚注：

[1]王洋、闫海：《生成式人工智能的风险迭代与规制革新——以ChatGPT为例》，载《理论月刊》2023年第6期，第22页。

[2] Hadrien Pouget, Reconciling the U.S. Approach to AI, May 03, 2023, https://carnegieendowment.org/2023/05/03/reconciling-u.s.-approach-to-ai-pub-89674.

[3] 同上。

[4] 同上。

[5] Charles S. Morgan et al., U.S. House and Senate Reintroduce the Algorithmic Accountability Act Intended to Regulate AI, April 8, 2022, https://www.mccarthy.ca/en/insights/blogs/techlex/us-house-and-senate-reintroduce-algorithmic-accountability-act-intended-regulate-ai.

[6] 赛迪智库：《赛迪观点：〈美国数据隐私和保护法案〉的内容及启示》，载微信公众号“中国电子信息产业发展研究院”，2023年3月13日，https://mp.weixin.qq.com/s/C6Vor45ZBmwGaOvP-LajHg

[7] Michael O’Malley, Why You Need To Prepare Now For Privacy Legislation That May Not Pass, Mar 27, 2023, https://www.forbes.com/sites/forbestechcouncil/2023/03/27/why-you-need-to-prepare-now-for-privacy-legislation-that-may-not-pass/?sh=54c946b1769a

[8]Lexology, United States: Artificial Intelligence, October 28 2021, https://www.lexology.com/library/detail.aspx?g=d5d76e54-1c3a-48a1-bce0-346ddb1bd3a9

[9] Alex Engler, The EU and U.S. diverge on AI regulation: A transatlantic comparison and steps to alignment, April 25, 2023, https://www.brookings.edu/articles/the-eu-and-us-diverge-on-ai-regulation-a-transatlantic-comparison-and-steps-to-alignment/.

[10] BLUEPRINT FOR AN AI BILL OF RIGHTS, October 2022, https://www.whitehouse.gov/wp-content/uploads/2022/10/Blueprint-for-an-AI-Bill-of-Rights.pdf.

[11] Hadrien Pouget, Reconciling the U.S. Approach to AI, May 03, 2023, https://carnegieendowment.org/2023/05/03/reconciling-u.s.-approach-to-ai-pub-89674.

[12] 郑孜青：《美国、欧盟及英国对人工智能的监管与规制》，载《中国外汇》2023年第6期，第24-27页。

[13] 龙豪：《智库 | 追踪人工智能监管政策新进展——以美国<人工智能风险管理框架>为例》，载微信公众号“中国社会科学网”，https://mp.weixin.qq.com/s/1DInnArX3O_9iu_WjQmsFg。

[14] Bryan Cave Leighton Paisner LLP, US STATE-BY-STATE AI LEGISLATION SNAPSHOT, https://www.bclplaw.com/en-US/events-insights-news/2023-state-by-state-artificial-intelligence-legislation-snapshot.html.

[15] OECD Employment Outlook 2023: Artificial Intelligence and the Labour Market, https://www.oecd-ilibrary.org/sites/04b3d08d-en/index.html?itemId=/content/component/04b3d08d-en

[16] NITA, AI Accountability Policy Request for Comment, https://www.ntia.gov/issues/artificial-intelligence/request-for-comments.

[17] Andrew Solender, Ashley Gold Scoop, Schumer lays groundwork for Congress to regulate AI, Apr 13, 2023, https://www.axios.com/2023/04/13/congress-regulate-ai-tech.

[18] 毕文轩：《生成式人工智能的风险规制困境及其化解: 以ChatGPT的规制为视角》，载《比较法研究》2023年第3期，第166页。

Q50. 美国《人工智能权利法案蓝图》的主要内容？

2022年，白宫科学技术政策办公室（OSTP）发布了《人工智能权利法案蓝图》（Blueprint for an AI Bill of Rights），该蓝图为政策性文件，指出了负责任地使用人工智能的非约束性路线。《人工智能权利法案蓝图》提及，目前技术、数据以及自动化系统的不当使用威胁了美国公众的权利，如帮助患者护理的系统存在不安全、无效或者偏见；在招聘和信贷决策中使用的算法反映了不必要的不平等，或者嵌入了新的有害偏见和歧视；未经过检验的社交媒体数据侵害了人们的隐私。自动化系统确实带来了非凡的好处，但是不能以牺牲公民权利或者民主价值观为代价。

白宫科技政策办公室在该文件中确定了五项原则，旨在指导自动化系统的设计、使用和部署，以在人工智能时代保护美国公众。其一是安全有效的系统，其二是算法歧视保护，其三是数据隐私，其四是通知及说明，其五是人类的选择、考虑和后备。

安全有效的系统是指自动化系统的开发应当与不同社区、利益相关者或者领域专家协商，以确定系统的关注点、风险和潜在影响。系统应当经过部署前的测试、风险识别和缓解以及持续监控，证明它们根据其预期用途是安全有效的，缓解了不安全（包括超出预期用途的结果），并且遵守了特定领域的标准。

算法歧视保护是指系统应当以公平的方式使用和设计。当自动化系统因为种族、肤色、性别、宗教而导致不公平的不同待遇或者影响而不利于人们时，就会发生算法歧视。根据不同的具体情形，此种算法歧视可能会违反法律保护。自动化系统的设计者、开发者和部署者应当采取主动和持续的措施，保护个人和社区免受算法歧视。应当以算法影响评估的形式进行独立评估和简单语言报告，包括差异测试结果和缓解信息，并尽可能公开以确认。

数据隐私是指公民应当通过内置保护措施免受滥用数据行为的影响。自动化系统的设计、开发和部署者应当以适当的方式并尽最大可能在收集、使用、访问、转移和删除数据方面征求许可并且尊重决定；如果不可能，则应当采取其他的隐私设计保障措施。系统不应当采用混淆用户选择的用户体验和设计决策，也不应当让用户承担侵犯隐私的默认设置。

通知及说明是指公民应当知道正在使用自动化系统，并且了解如何以及为何会产生影响公民的结果。自动化决策系统的设计者、开发者和部署者应当提供普遍可访问的简单语言文档，包括对整个系统功能和自动化所扮演的角色的清晰描述。此类通知应当保持最新，并且应当将重要用途或者关键功能的更改通知受系统影响的人员。应当尽可能公开包含有关这些自动化系统的简明摘要以及对通知和解释的清晰度和质量的评估报告。

人类的选择、考虑和后备是指在适当的情况下，公民能够选择退出自动化系统，转而使用人工替代系统。适当性应当根据特定情况下的合理期望来确定，重点是确保广泛的可访问性和保护公众免受特别有害的影响。如果自动化的系统出现了故障或者产生错误，或者想对其产生的影响提出申诉，则公民能够通过后备或者升级程序及时获得人工审核和补救。若是在敏感领域使用自动化系统，如刑事司法、就业、教育和医疗卫生，则应当按照目的量身定制，提供有意义的监督路径。

在该指南的附录部分，则提供了应考虑这些原则的自动化系统示例列表。

相关研究者指出，蓝图着重强调了公平性与隐私性。在公平性方面，蓝图要求自动化系统的设计者、开发者和部署者采取积极措施，保护个人以及社区免受算法歧视。在隐私性方面，蓝图指出隐私性是贯彻该框架中其他原则所需的基础性和交叉性的原则，要求自动化系统的设计和构建应默认保护隐私。（注：钟新龙、彭璐：《美欧人工智能法案对比研究及启示》，载《软件和集成电路》2023年第6期，第82-84页。）

Q51. 美国《算法问责法案》的主要内容？

相较于美国其他针对人工智能的法律法规，《算法问责法案》（Algorithmic accountability act）带有较强的技术规制硬法色彩。但是也有相关研究者指出，近些年来，美国国会通过的与人工智能相关的重要立法主要集中在两党的优先事项上，并未制定旨在影响行业使用人工智能的新法律。而规范私营部门使用人工智能的立法，譬如《算法问责法案》（草案）也难以获得支持。因此，我们认为，在美国，由于国家战略以及政治因素考量，《算法问责法案》等规制型的法案影响力较小，但仍然在一定程度上体现了美国的监管方向，因此也在此处作一定介绍。

2019年，《算法问责法案》（草案）被首次提出，这一拟议的立法旨在监管人工智能和机器学习系统。该法案的管辖范围较为广泛，指向年均总收入超过5000万美元、持有至少100万人或者其设备的个人信息的公司，或者充当数据经纪人的公司。

该法案对自动化决策（算法）的定义、管辖对象、高风险算法进行了具体规制，并且要求对自动化决策系统，特别是高风险的算法进行影响评估。根据该法案的规定，以下算法将被认定为高风险的算法：[1]

表1 高风险的算法系统

2022年，美国提出了《2022算法问责法案》（Algorithmic Accountability Act of 2022），2022年的版本重新界定了适用主体和适用对象，[2]相较于之前具有更严格的影响评估要求。[3]在适用主体方面，算法治理的覆盖面扩展，譬如增加了“增强的关键决策程序”概念（Augmented Critical Decision Process，ACDP）。在算法透明度规制方面，面向被涵盖的实体和监管主体两方面提出了要求，一方面要求被涵盖的实体进行影响评估，另一方面面向监管主体，要求其为评估和报告提供结构化指导、建立信息库等。[4]

就影响评估的内容而言，虽然仍然需要联邦贸易委员会明确评估的准确形式与内容，但是该法案已经提供了相关的评估清单，对此相关研究者进行了总结归纳：[5]

表2 影响评估内容

2023年1月3日，《2022 年算法问责法案》因未能在第117届国会休会前获得通过而被否决。[7]2023年版本的《算法责任法案》，由俄勒冈州民主党参议员罗恩·怀登（Ron Wyden）、新泽西州民主党参议员科里·布克（Cory Booker）以及纽约州众议员伊维特·克拉克（Yvette Clarke）提出，该法案旨在为受到人工智能系统影响的人们提供新的保护，它规制用于关键决策的新型生成式人工智能系统，以及其他人工智能和自动化系统。该法案要求公司在使用人工智能作出关键决策时，对有效性、偏见和其他因素进行影响评估，并且规定联邦贸易委员会增加75名执法人员。[8]

脚注：

[1]毕文轩：《生成式人工智能的风险规制困境及其化解: 以ChatGPT的规制为视角》，载《比较法研究》2023年第3期，第166页。

[2]孙小童：《内容科技观察 | 美国《2022算法问责法案》要点精读》，载微信公众号“内容科技产业推进方阵”，2022年4月12日，https://mp.weixin.qq.com/s/FwhYCn3_bGRqm8uzxZlT1w。

[3]Serena Oduro et al., Obligations to assess: Recent trends in AI accountability regulations, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9676559/.

[4]孙小童：《内容科技观察 | 美国《2022算法问责法案》要点精读》，载微信公众号“内容科技产业推进方阵”，2022年4月12日，https://mp.weixin.qq.com/s/FwhYCn3_bGRqm8uzxZlT1w。

[5]Charles S. Morgan et al., U.S. House and Senate Reintroduce the Algorithmic Accountability Act Intended to Regulate AI, April 8, 2022, https://www.mccarthy.ca/en/insights/blogs/techlex/us-house-and-senate-reintroduce-algorithmic-accountability-act-intended-regulate-ai.

[6]ACDP（augmented critical decision processes）是指“使用自动决策系统作出关键决策的过程、程序或者其他活动”，而ADS（automated decision systems）的定义更为宽泛。

[7]https://digitalpolicyalert.org/event/8384-rejected-algorithmic-accountability-act-of-2022.

[8]https://www.wyden.senate.gov/news/press-releases/wyden-booker-and-clarke-introduce-bill-to-regulate-use-of-artificial-intelligence-to-make-critical-decisions-like-housing-employment-and-education.

Q52. 美国NIST制定的《人工智能风险管理框架1.0》（AI RMF 1.0）的主要内容及其影响？

拜登政府的《人工智能权利法案蓝图》提供了基本指南，而具体的行为指引反映在美国国家标准与技术研究院（National Institute of Standards and Technology，NIST）《人工智能风险管理框架》（AI RMF）。

NIST隶属于美国商务部，从事物理、生物和工程方面的基础和应用研究。2023年，NIST正式公布AI RMF1.0，响应了美国《国家人工智能倡议法》（National Artificial Intelligence Initiative Act）的要求，旨在指导机构和组织在开发和部署人工智能系统时降低安全风险。[1]

（一）主要内容

人工智能作为一种通用技术，涵盖了广泛的技术、数据源以及应用，其认为人工智能本质上是“社会技术性”的，这意味着它们受到社会动态和人类行为的影响，[2]这种人工智能的广度使得其对信息技术风险管理具有独特的挑战性。因此，AI RMF在其风险管理方法中引入了“社会技术”（socio-technical）维度，考虑了广泛的结果、参与者、利益相关者以及参与者的“社会动态和人类行为”。

对于人工智能，人们普遍考虑的问题包括人工智能的风险和收益、对人工智能训练数据和输出数据偏差的担忧、什么构成可靠和可值得信赖的人工智能。为解决这些问题，AI RMF提供了两个视角，分别构成了该文件的两个部分，即“AI的风险、如何识别风险”以及如何“评估和管理风险”。[3]

该文件第一部分提供了如何识别人工智能风险的方法，概述了可信赖人工智能系统的特征。文件指出，在人工智能全生命周期的不同阶段存在不同的风险。人工智能系统全生命周期的风险还会受到不同阶段参与人员的影响，不能孤立地考虑人工智能风险，而应当综合考虑网络安全、隐私保护等其他关键风险。

NIST目前对于人工智能风险的重视与加拿大以及欧洲保持了一致，目前欧洲与加拿大正在拟议的人工智能相关法案均采用了基于风险的方法，其中开发或者使用高风险的人工智能系统将会受到特定的治理和透明度要求的约束。[4]因此制定特定的工作流程以识别和管理高风险的人工智能系统很可能即将为监管者所采纳。

NIST并未列举出可能很快会更迭的特定人工智能风险列表，而是提供了一些值得考量的风险因素，以帮助企业确定相关风险：[5]

表 值得考量的风险因素与内容

文件第二部分提供了一套评估和管理风险的组织流程和活动。这些流程和活动的关键步骤是“测试、评估、验证和确认”（TEVV）。这些流程和活动被分为四个关键核心功能，包括治理（govern）、映射（map）、测量（measure）和管理（manage），此外，每一个功能都被分解为类别和子类别。其中治理功能被设计成跨领域的职能，以提供信息，并融入其他三个功能。

治理功能是贯穿人工智能风险管理的跨领域功能。治理功能包括六个类别，一是整个组织中与AI风险有关的其他三项功能有关的政策、流程、程序和实践都已经到位、透明且有效实施。二是责任结构到位，使得相关的团队和个人有权、有责任并接受培训，以绘制、测量和管理人工智能风险。三是在整个生命周期中，需考虑劳动力的多样性、公平性、包容性和可访问性。四是组织文化高度关注AI风险。五是流程到位，与相关人工智能参与者稳健合作。六是制定了相关政策和程序解决人工智能风险，并从第三方软件、数据和其他供应链问题中获益。

映射功能则建立了与人工智能系统相关的风险框架。在AI的生命周期中，涉及到不同的参与者，在实践中，负责某一流程的参与者可能对另外一部分的参与者并没有任何的可见性或者控制权。但是由于活动之间以及相关人工智能参与者之间具有相互依赖性，这使得人工智能系统的影响难以被预测。映射功能分为四个类别，一是语境可用且可理解。二是恰当分类AI系统。三是了解系统功能、目标以及与适当基准相比的预期效益与成本。四是AI系统的所有组件（包括第三方软件和数据），均有风险和收益图。五是评估AI系统对个人、群体、组织、社会的影响。

测量功能采用定量、定性或混合方法工具、技术和方法来分析、评估、基准测试和监测人工智能风险和相关影响。它使用与映射功能中识别的人工智能风险相关的知识，并向管理功能提供信息。测量功能具有四个类别，包括确定并应用适当的方法和度量；对AI系统进行了严格的特性评估；随着时间推移，确保识别人工智能风险的机制已经到位；收集并且评估有关测量功能的反馈。

管理功能要求按照治理功能的定义，定期将风险资源分配给映射和测量的风险。风险处理包括应对、恢复和沟通事件或事件的计划。从专家咨询中收集的背景信息和相关人工智能参与者的输入（在治理功能中建立并在映射功能中执行）用于该功能，以降低系统故障和负面影响的可能性。管理包括四个类别，一是根据映射和测量功能中的评估和其他分析结果，对AI风险进行优先排序、响应和管理。二是通过相关AI参与者的投入，规划、准备、实施、记录和形成了最大化AI收益和最小化负面影响的策略。三是管理来自第三方实体的风险和收益。四是风险处理，包括响应和恢复，以及识别和测量的人工智能风险的沟通计划，都会定期记录和监控。

总体而言，AI RMF围绕人工智能的风险提出了“可信赖的AI”理念与基本特征，也提供了一套评估、管理风险的组织流程和活动，将人工智能的“社会技术”维度以及人工智能系统生命周期的各个阶段，以及相关的参与者联系起来。

（二）AI RMF的影响

相关研究者指出，AI RMF在AI领域中具有先发优势，因为欧盟和加拿大都在就人工智能进行立法，但是尚未生效。此外，AI RMF是在《人工智能权利法案蓝图》（AIBOR）之后发布的，该法案是一套旨在保护个人免受伤害、歧视、隐私和自主权损失的原则，AI RMF为各种组织提供了实施AIBOR原则的手段。与欧盟的《人工智能法案》相反，AI RMF以及AIBOR均不具有法律约束力，但这并不必然是缺点，因为这能够使得更多的组织采纳并且应用这一框架。

（三）其他配套文件

在发布AI RMF的同时，NIST还提出了一份路线图，其中列出了其计划采取的行动，以改进和扩展该框架，使得该框架与其他标准保持一致（主要是ISO的IT与AI标准）。

NIST还发布了在线的交互式的Playbook，[6]作为AI RMF的配套产品。Playbook是一个扩展了四个核心功能的平台，为AI RMF的每一步都提供了详细的解释、相关的操作以及对应的资源。

脚注：

[1] 杨春白雪:《域外观察|美国NIST发布<人工智能风险管理框架>》，载微信公众号CAICT互联网法律研究中心，2023年2月7日，https://mp.weixin.qq.com/s/0T4vEKw_lc7wFKTuE15bvA。

[2] AI systems are inherently socio-technical in nature, meaning they are influenced by societal dynamics and human behavior.

[3] Stuart D. Levi et al., AI Risk: Evaluating and Managing It Using the NIST Framework, May 18, 2023, https://www.skadden.com/-/media/files/publications/2023/05/ai_risk_evaluating_and_managing_it_using_the_nist_framework.pdf?rev=5b07702268114ba8b29de1531cdb60c9.

[4] McCarthy Tétrault LLP, A new way to manage AI risks: The National Institute of Standards and Technology’s AI Risk Management Framework, February 23, 2023, https://www.lexology.com/library/detail.aspx?g=7964d328-16e2-4a4c-ab9a-5e4fd2193ff3.

[5] Francis Langlois et al., A new way to manage AI risks: The National Institute of Standards and Technology’s AI Risk Management Framework, February 23, 2023, https://www.mccarthy.ca/en/insights/blogs/techlex/new-way-manage-ai-risks-national-institute-standards-and-technologys-ai-risk-management-framework-0#_ftn6.

[6] NIST AI RMF Playbook, https://airc.nist.gov/AI_RMF_Knowledge_Base/Playbook.

Q53. 其他地区是否有与AI RMF类似的管理框架？

在全球范围内，欧洲委员会（the Council of Europe）通过艾伦图灵研究所（The Alan Turing Institute）针对人工智能的人权影响制定了类似的风险管理框架，新加坡制定了可信赖人工智能的自愿测试框架，经合组织工作组（Organization for Economic Co-operation and Development，OECD）也推出了可信赖人工智能工具框架。[1]

（1）欧洲：2019年，欧洲委员会部长委员会通过了人工智能特设委员会（CAHAI）的职权范围。CAHAI负责审查人工智能系统技术、开发和部署的法律框架的可行性和潜在要素，该框架符合欧洲委员会在人权、民主和法治等相关领域的标准。CAHAI对此的可行性研究《人工智能、人权、民主和法治：为欧洲委员会编写的入门读本》（Artificial intelligence, human rights, democracy, and the rule of law a primer）于2020年12月在其全体会议上通过。该研究提出了九项原则和优先事项，以应对人工智能系统设计、开发和部署所带来的新挑战。当这些原则和事项编入法律时，会产生一系列相互关联的权利和义务，以确保人工智能技术的设计和使用符合人权、民主和法治的价值观。[2]

（2）新加坡：2022年5月，IMDA（新加坡通信和信息部下属的法定委员会）/PDPC（个人数据保护委员会）推出了AI verify（人工智能验证），这是世界上第一个AI治理测试框架和工具包。开发人员和所有者可以通过标准化测试来验证其人工智能系统所声称的性能。AI verify整合了一套开源测试解决方案，包括了一套流程检查工具包，方便用户进行自我评估，该工具包将为开发人员、管理层和业务合作伙伴生成报告，并且涵盖影响人工智能性能的主要领域。[3]

AI verify分为两个部分，其一是测试框架，引用了11项国际公认的人工智能伦理和治理原则，分为五大支柱。其二是组织用来执行技术测试和记录测试框架中过程检查的工具包。[4]AI验证工具包的测试过程包括技术测试和过程检查，工具包可以在用户的企业环境中运行，帮助用户对其人工智能模型进行技术测试并记录流程检查。之后，该工具包会为正在测试的人工智能模型生成测试报告。目前该工具包在Github上开源进行开发。[5]

此外，新加坡曾于2019年1月发布了第一版的人工智能治理模型框架，为私营部门组织提供了详细且易于实施的指导，以解决部署人工智能时的关键道德和治理问题。2020年1月，新加坡发布了第二版的模型框架。[6]

（3）OECD在其报告《针对可信赖AI的工具 一个比较可信赖AI系统实施工具的框架》（Tools for trustworthy ai A framework to compare implementation tools for trustworthy ai systems）中指出，实施可信赖AI的努力确实存在，但是极为分散。为了方便实施经合组织的AI原则，存在许多工具、手段以及结构化方法，并且这些方法能够帮助AI参与者构建和部署可信赖的人工智能。为此，经合组织提出了可信赖AI的工具框架，根据系统的特定需要和背景对工具进行分类。此外，基于该框架，经合组织将构建一个定期更新的交互式可信赖工具数据库，交互式数据库将为AI参与者和政策制定者提供关于最新工具的信息，以帮助确保在不同背景下的AI系统遵循相关原则。[7]

脚注：

[1] OECD, Tools for trustworthy AI A framework to compare implementation tools for trustworthy AI systems, https://www.oecd-ilibrary.org/docserver/008232ec-en.pdf?expires=1693281564&id=id&accname=guest&checksum=38B9D38FE81D99A506BE89A35F9C0B04,https://oecd.ai/en/catalogue/tools; OECD Employment Outlook 2023: Artificial Intelligence and the Labour Market, https://www.oecd-ilibrary.org/sites/04b3d08d-en/index.html?itemId=/content/component/04b3d08d-en.

[2] The Alan Turing Institute, AI, human rights, democracy and the rule of law: A primer prepared for the Council of Europe, https://www.turing.ac.uk/news/publications/ai-human-rights-democracy-and-rule-law-primer-prepared-council-europe.

[3] Personal Data Protection Commission, Singapore’s Approach to AI Governance,https://www.pdpc.gov.sg/help-and-resources/2020/01/model-ai-governance-framework；Infocomm Media Development Authority, About Artificial Intelligence Singapore （AI SG）, https://www.imda.gov.sg/about-imda/research-and-statistics/sgdigital/tech-pillars/artificial-intelligence.

[4] 澎湃新闻：《让人工智能治理可验证：新加坡的AI Verify工具包》，https://baijiahao.baidu.com/s?id=1771272705237493427&wfr=spider&for=pc。

[5] CFIEC：《AI治理的国际实践观察》，载微信公众号“数据信任与治理”，https://mp.weixin.qq.com/s/OuE8gzPDy6oMqBC0Trv_sw。

[6] Model AI Governance Framework （Second Edition）, http://go.gov.sg/AI-gov-MF-2.

[7] OECD, Tools for trustworthy ai A framework to compare implementation tools for trustworthy ai systems, June 2021, https://www.oecd-ilibrary.org/docserver/008232ec-en.pdf?expires=1693541159&id=id&accname=guest&checksum=EC948EA4B57E471FDF293594E70176D2.

Q54. 如何理解AI RMF中提出的TEVV？

在AI的整个生命周期中，都需进行测试、评估、验证和确认（TEVV）任务。这些任务由检查AI系统或其组件的AI参与者执行，或者检测和修复问题。理想情况下，执行验证和确认任务的AI参与者与执行测试和评估操作的参与者是不同的。任务可以尽早地纳入设计阶段，在该阶段，测试是根据设计要求进行规划的。

1. 对于设计、规划和数据的TEVV任务，可能集中于系统设计、数据收集和相对于预期部署或应用环境的测量的内部和外部验证假设。

2. 对于开发（即模型构建）的TEVV任务，包括模型验证和评估。

3. 对于部署的TEVV任务，包括系统验证和生产中的集成、测试，以及系统和流程集成、用户体验以及现有法律法规和伦理规范的合规性的校准。

4. 对于运营的TEVV任务，涉及持续监控，定期更新、测试、模型的主题专家校准、跟踪报告的事故或错误及其管理、检测新出现的属性和相关影响，以及补救和响应的流程。

AI RMF所提及的TEVV是在AI系统中设计到运行过程中需要进行的一系列检查和调整的任务。概言之，在AI的设计阶段，人们要检查和确认系统设计以及数据收集等是否符合预期或者实际应用的需求。在开发、创建AI模型的阶段，人们需要确保模型是有效的，且能满足预期的功能。在AI的部署阶段，AI被真正放入实际环境中运行，则要确保其与其他系统恰当融合，符合所有的法律与道德规范。在AI系统的运营阶段，AI系统已经实际运行，并开始为用户提供服务，人们需要持续监控系统的表现，确保其表现是最佳的，同时也需注意是否出现其他任何问题或者错误，并需要及时修复。