2023年11月,美国安全与新兴技术中心(CSET)发布题为《以往鉴来:制定人工智能标准的教训和启示》(Repurposing the Wheel:Lessons for AI Standards)的报告。该报告通过讨论在金融、劳动力、网络、建筑和医疗设备领域的标准制定经验,旨在将这些领域的经验教训引入AI标准的制定中。报告总结了6个启示并提出了11条相关建议,探讨应如何有效地制定AI标准。元战略编译报告核心内容,为AI标准制定提供参考。
为快速发展的AI技术制定标准是一项复杂的工作,这其中存在的挑战包括缺乏有关AI的通用定义,以及潜在的AI用例激增。目前,各国政府虽然承认AI标准仍处于萌芽阶段,因此制定可执行的标准非常重要。AI系统有望通过执行或增强人类难以完成的某些功能,如从大量数据中检测模式或提取高价值信息,对人们的生活产生积极影响。然而,这些系统也可能以多种方式造成危害,例如,传播错误信息或强化从训练数据中推断出的偏见。虽然标准可以降低AI系统的风险,并且有利于AI系统的相关实践,但制定AI标准仍然发展缓慢,这主要是以下原因导致:
1. 目前对AI的定义有很多种。本报告提出了与其中许多定义相一致的建议,但并不特别偏好其中的某一种定义。
2. AI技术发展迅速,且针对特定应用,这意味着与特定AI系统架构绑定的标准可能不会长期有用,或适用于广泛的系统。制定标准还需考虑到AI系统集成环境的风险差异,从网上购物等低风险用例到武器系统等高风险用例,不一而足。
总之,AI领域的情况错综复杂,它带来了各种社会风险,需要根据不同的使用情况进行不同程度的监督。此外,AI不是一种单一的技术,而是一个相关技术的家族,这意味着在制定标准时必须细致入微。所幸制定标准并不是一项新挑战,仅国际标准化组织就有24000多项国际标准。因此,参与制定AI标准过程的利益相关者可以研究其他领域的明确标准,从这些领域制定标准的历程中汲取经验。
启示1:AI风险评估和缓解应包括
研究相互依存关系如何影响系统性风险
在AI领域,AI模型中的错误可能会传播到以模型为基础的应用程序中。此外,风险管理的一个关键部分是对源自系统相互依存关系的风险进行规划。美国美国国家标准与技术研究院(NIST)制定了AI风险管理框架(AI RMF),为AI系统风险的映射、测量、管理和治理奠定了基础。AI RMF的“地图”功能建立了与AI系统相关的风险框架,它强调预测这些危害在整个AI生命周期中如何因参与者与AI系统之间的相互作用而出现。通过将相互依存关系与不同规模的风险联系起来,AI风险管理机制展示了系统相互依存关系对AI风险管理的适用性。
建议1:关键基础设施的所有者和运营商应跟踪其AI系统的相互依赖性。
建议2:美国管理与预算办公室(OMB)和科技政策办公室(OSTP)主任即将发布的AI最低风险管理实践指南应要求各机构识别其AI系统与其他实体之间的相互依存关系可能带来的风险。
启示2:AI系统的测试和重新批准指南
应根据风险进行调整,并考虑到AI系统
随时间推移而发生的变化
为获得市场批准而进行测试的要求可以成为管理新技术风险的有用工具,在AI技术的管理中很可能会采用此种工具。这些要求应根据系统带来的风险程度和人们对系统的了解程度等因素进行调整。美国的一些监管制度已经采用了基于风险的要求,即根据其技术特点、能力和使用环境构成较高风险的系统需要更严格的测试,这也是《欧盟AI法案》的一个显著特点。
建议3:美国国防部应为军事AI系统测试的不同严格程度和监督创建阈值或触发器。
建议4:美国政府机构应制定随时间推移对系统进行重新评估和重新测试的流程,并相互分享这些流程。
启示3:合规援助可帮助中小型企业
准备和实施AI法规
虽然标准合规可能成本高昂且复杂,但合规援助可以帮助企业减轻负担。帮助企业实施和遵守标准的资料通常都需要付费,这使得一些企业在证明其符合标准的过程中需要花费高昂的成本。例如,英国标准协会(BSI)对医疗器械质量管理的审核收费约为每小时280美元,对技术文件的审核收费约为每小时480美元。此外,实施特定行业标准的成本,包括员工工资、报告流程和实施合规的系统,往往会随着法规数量的增加而增加。
建议5:美国国会应在美国商务部内设立一个AI合规援助试点办公室,随后将其扩展到其他政府机构。
启示4:第三方非政府组织可以消除
标准制定、实施、合规和跟踪方面的障碍
第三方非政府组织,包括专业组织和认证组织,可以在消除标准制定、实施、遵守和跟踪障碍方面发挥重要作用。专业组织可以充当有用的信息收集中介,并汇集较小公司的资源,以获取通常价格昂贵的标准文件。非政府认证组织可以帮助开展标准验证活动,减轻政府的工作负担;私营组织通常也可以相对快速、灵活地制定标准,随后将其纳入强制性标准。美国职业安全与健康管理局(OSHA)的案例研究强化了这些经验教训,可将其应用于AI领域。
建议6:美国管理与预算办公室(OMB)应指示独立机构进行研究,为指定第三方认证机构提供信息,确保认证机构以一致的方式评估AI标准的实施情况。
建议7:专业组织应建立AI标准准入基金、举报人保护计划和报告计划,以便从行业参与者那里收集有关AI风险的匿名信息。
启示5:非监管治理是支持安全开发
和使用AI系统的一种机制
正如金融、网络领域的案例研究揭示的,并非每一种治理形式(包括标准)都必须具有监管性质,有效的非监管方法包括:
• 利用私营和自愿标准,在公共和私营部门之间建立问责制和信任;
• 公开批评未能坚持标准的实体;
• 使政府采购技术标准化。
这些经验教训可以为AI的非监管治理提供借鉴。随着这些对话的推进,政府可以从金融、网络等领域的案例研究中吸取经验教训,以确保其坚持“以规则为基础、私营部门为主导的标准制定方法”的基本承诺。已经建立了强大功能的AI模型的机构大多来自私营部门,因此他们的技术专长和观点应纳入标准制定的讨论中。
建议8:建立一个AI领域类似反洗钱金融行动特别工作组(FATF)的机构,通过明确指出不符合标准的行为者,帮助提高公众对AI采购或使用决策的认识。
建议9:美国美国美国国家标准与技术研究院(NIST)应创建一个在线门户网站,确保与AI标准有关的技术发展得到记录和宣传。
启示6:对标准进行协调和定期检查
可确保标准制定的效率和效果
在各个部门,标准的制定可能是一个漫长的、多方利益相关者参与的过程,需要经历多个阶段。标准可能很快就会过时,也可能会损害弱势群体的利益,因此,亟需制定战略来提高标准的有效性和持久性。让不同的利益相关者为标准制定做出贡献,并定期召集这些利益相关者进行更新,这些机制都有助于保护标准在其生命周期内的完整性。由于有关AI标准的讨论仍处于早期阶段,技术发展迅速,制定全面的AI标准可能需要数年时间,标准以及制定标准的制度必须适应不断发展的技术的创新速度。虽然AI标准制定、颁布和采用的时间表不尽相同,可能会限制标准的灵活性,但对标准进行协调和定期检查可确保AI标准保持相关性。
建议10:AI标准制定机构应主办一年两次的峰会,就标准的互操作性和有效性进行协调。
建议11:美国美国国家标准与技术研究院(NIST)应支持开发测试平台,以监测AI标准的有效性。
免责声明:本文转自元战略,原作者Zoie Y. Lee。文章内容系原作者个人观点,本公众号编译/转载仅为分享、传达不同观点,如有任何异议,欢迎联系我们!
推荐阅读
转自丨元战略
作者丨Zoie Y. Lee
研究所简介
国际技术经济研究所(IITE)成立于1985年11月,是隶属于国务院发展研究中心的非营利性研究机构,主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题,跟踪和分析世界科技、经济发展态势,为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号,致力于向公众传递前沿技术资讯和科技创新洞见。
地址:北京市海淀区小南庄20号楼A座
电话:010-82635522
微信:iite_er
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...