人工智能全球安全治理领域的新进展与焦点议题

2010 年前后，以深度学习为代表的新一轮人工智能浪潮兴起，一方面，给军事变革带来了重大机遇，有望助推各国军事实力的跃升，重塑战争形态。另一方面，人工智能军事应用也给国际安全带来了诸多挑战。特别是自 2022 年11 月以来，以 ChatGPT 为代表的生成式人工智能迅猛发展，部分展现了在多领域达到乃至超越人类智能的通用人工智能的潜在能力，掀起了人工智能研发应用的新一波热潮。在此背景下，国际各方越来越认识到，在积极发展人工智能的同时，必须高度重视其可能带来的风险和挑战，加强前瞻性应对和治理。人工智能全球安全治理就是对人工智能军事应用产生的全球安全威胁进行全球层面的治理，在人工智能军事应用风险越来越凸显的背景下，这一新兴全球治理领域越来越受到国际社会的重视。本文将梳理各方在人工智能全球安全治理领域的新进展，考察这一领域的焦点议题及主要分歧，为推进这一领域的治理进程和学界研究提供参考。

迄今为止，国际社会的多个行为体都参与到了人工智能全球安全治理这一进程中来。具体而言，最新进展主要表现在以下 3 个方面。

1.1　主权国家的代表性治理进展

从国家行为体来看，针对人工智能的全球安全治理主要有以下最新代表性进展。

中国高度重视人工智能全球安全治理，呼吁在人工智能治理领域践行人类命运共同体理念。2021 年 9 月，中国国家新一代人工智能治理专业委员会发布《新一代人工智能伦理规范》，提出了增进人类福祉、促进公平公正等 6 项基本伦理要求和 18 项具体伦理要求，以实际行动为推动人工智能治理、构建人类命运共同体作出表率。同年 12 月，中国代表李松大使在《特定常规武器公约》第六次审议大会上提交的《中国关于规范人工智能军事应用的立场文件》中强调“智能向善”原则，呼吁“各国政府、国际组织、技术企业、科研院校、民间机构和公民个人等各主体秉持共商共建共享的理念，协力共同促进人工智能安全治理”。2022 年 7 月，在联合国特定常规武器公约框架下针对致命性自主武器系统（Lethal Autonomous Weapons Systems，LAWS）的政府专家组第二期会议上，中国提交了关于致命性自主武器的工作文件。2022 年11 月，中国政府在参加《特定常规武器公约》缔约国会议时，进一步提交了《中国关于加强人工智能伦理治理的立场文件》，从监管、研发、使用和国际合作 4 个方面提出了强化全球人工智能伦理治理的中国方案。2023 年 2 月 21 日，中国发布了《全球安全倡议概念文件》，其中特别强调，要“加强人工智能等新兴科技领域国际安全治理，预防和管控潜在安全风险”。

美国大力推动所谓负责任人工智能军事应 用 战 略 及“ 最 佳 实 践”（Best Practice）。2022 年 6 月， 美 国 国 防 部 出 台《 负 责 任 人 工智能战略和实施路线图》，提出了负责任人工智能战略的 6 大原则，旨在建立士兵、指挥员和民众对人工智能军事应用的信任。2023 年1 月，美国国防部更新了《3000.09 指令》（武器系统中的自主性）。早在 2012 年，美军就出台了这一指令，强调“自主和半自主武器系统的设计应允许指挥官和操作员对其进行适当的人类判断”，以及“授权使用、指挥使用或操作自主和半自主武器系统的人必须严格地服从，并执行战争法、适用的条约、武器系统安全规则和适用的交战规则”。这次更新对这一问题进行了进一步细化明确，将前期的军用人工智能伦理准则嵌入。2022 年，美国联合澳大利亚、加拿大、日本、韩国、英国向联合国提交了《致命性自主武器系统领域新兴技术的原则和最佳实践》文件，强调了国际人道法适用、国家责任等原则，并提出了所谓的人工智能军事应用“最佳实践”。2023 年 5 月，美国联合澳大利亚、加拿大、日本、波兰、韩国、英国向联合国提交了《自主武器系统条款草案——基于国际人道法的禁令和其他监管措施》文件，强调禁止不符合国际人道法的自主武器系统，并提出了促进自主武器系统使用时符合国际人道法原则的措施建议。

除中美两个人工智能大国外，其他一些国家也在人工智能全球安全治理领域采取了一些举措。比较有代表性的有：2022 年 3 月，阿根廷、哥斯达黎加、危地马拉、哈萨克斯坦、尼日利亚、巴拿马、菲律宾、塞拉利昂、巴勒斯坦、乌拉圭这 10 个发展中国家组成的代表团提交了《实现自主武器系统新议定书的路线图》，旗帜鲜明地呼吁针对 LAWS 问题制定一项具有法律约束力的文书启动开放式谈判 。2022 年7 月，在联合国特定常规武器公约框架下针对致命性自主武器系统的政府专家组本年度第二期会议上，法国、德国、芬兰、荷兰、挪威、西班牙和瑞典 7 个欧盟国家共同提交了一份立场文件，提出了针对 LAWS 的分级分类管理办法。2023 年 5 月，俄罗斯提交工作文件《俄军在发展和使用具有人工智能技术的武器系统方面的活动构想》，提出了安全、透明、技术主权、责任与控制这五大原则。2023 年 5 月，阿根廷、厄瓜多尔、萨尔瓦多、哥伦比亚、哥斯达黎加、危地马拉、哈萨克斯坦、尼日利亚、巴勒斯坦、巴拿马、秘鲁、菲律宾、塞拉利昂和乌拉圭这14 个国家在第二期会议上向联合国提交了《关于自主武器系统的第六附加议定书草案》，呼吁“禁止在任何情况下设计、开发、生产、拥有、获取、部署、转让或使用在选择、瞄准或使用武力等关键功能时无法在有意义的人类控制下使用的自主武器系统，包括那些以无法预测、解释、预期、理解或追踪的方式运作的武器系统”。

1.2　国际（地区）组织的代表性治理进展

联合国《特定常规武器公约》机制聚焦自主武器议题的军控磋商。当前，致命性自主武器系统是人工智能全球安全治理最为核心的议题，而联合国《特定常规武器公约》机制则是迄今为止针对 LAWS 议题最为官方的磋商平台。自 2013 年以来，多国代表和全球公民社会代表围绕 LAWS 议题在这一平台上召开了多次非正式和正式的会议。这一机制经过数年的磋商，达成的最为重要的成果是于 2019 年 9 月确立了关于 LAWS 的 11 项指导原则 。2022 年和 2023 年，按照这一机制每年都召开了两期政府专家组会议，各方代表提交了相关工作文件，表达了对人工智能军事应用尤其是致命性自主武器系统的立场和观点，并审议通过了年度报告 。

联合国其他一些机构也在人工智能全球安全治理问题上取得了一些新的进展。比较有代表性的是，2021 年 11 月 25 日，联合国教科文组织正式推出《人工智能伦理问题建议书》，该建议书由教科文组织会员国集体通过，是关于人工智能主题的首份全球性规范框架，提出了规范人工智能发展应遵循的原则及应用领域。此外，2022 年 10 月，70 个国家在联合国大会第一委员会发布了关于致命性自主武器系统的联合声明（以奥地利为代表）。声明中强调，自主武器系统给人类社会带来了严重的人道主义、技术、安全、法律和伦理挑战，要维持人类对武力使用的控制和责任，有必要达成广泛认可的国际规则 。

近年来，除联合国外，一些区域性政府间组织也发布了涉及人工智能伦理准则的重要文件。2021 年 2 月，非洲人权委员会通过了第一份关于人工智能的决议，强调要对自主武器系统保持“有意义的人类控制”。非常值得注意的是，2023 年 2 月 15 日—16 日，荷兰与韩国共同主办了“军事领域负责任使用人工智能”峰会，中国、美国等 80 多个主权国家，以及联合国等国际组织应邀参加，来自政府、智库、企业、科研机构等 1 700 余人与会。此次峰会发布了成果文件《军事领域负责任使用人工智能行动倡议》（REAIM Call to Action），呼吁国际社会应就军事领域人工智能应用所带来的安全风险挑战加强多利益攸关方的讨论合作。此外，2023 年 2 月 25 日，组成拉美和加勒比国家共同体的 33 个国家在哥斯达黎加召开了“人工智能对社会和人道主义的影响”会议，并发表了一份共同宣言，呼吁“就自主武器系统问题紧急谈判一项具有法律约束力的国际文书”。

1.3　技术社群和非政府组织的代表性治理倡议

在人工智能全球安全治理领域，非政府组织和技术社群的积极性和活跃度非常高，成为重要的推动力量。其中，非政府组织主要以未来生命研究所（Future of Life Institute）、禁止杀手机器人运动（Campaign to Stop Killer Robots）、人工智能安全中心等为代表，技术社群则包括埃隆·马斯克、戴密斯·哈萨比斯等人工智能领域的一些知名专家。近年来，具有代表性的倡 议 如 下：2018 年 6 月， 在 瑞 典 召 开 的 国 际人 工 智 能 联 合 会 议 上， 埃 隆· 马 斯 克、 戴 密斯·哈萨比斯等超过 2 000 名人工智能专家和企业家共同签署《致命性自主武器宣言》（Lethal Autonomous Weapons Pledge）， 坚 决 反 对 这 类武器的研发、生产和使用，并呼吁各国政府强化对这类武器的监管。此外，在 ChatGPT 等人工智能大模型迅速发展应用的背景下，2023 年3 月 22 日，未来生命研究所向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比 GPT-4 更强大的人工智能系统的训练，暂停时间至少为 6 个月。截至 5 月 14 日，已有包括马斯克在内的超过两万名科技专家、企业家及其他人士签署了这一公开信。2023 年 5 月 30 日，非政府国际组织“人工智能安全中心”（Center for AI Safety）发布公开信，强调“减轻人工智能带来的人类灭绝风险，应该与大流行病和核战争等其他影响社会的大规模风险一同成为全球优先事项”，呼吁国际社会认真对待人工智能带来的一系列重要且紧迫的风险。该公开信已获得各领域教授和学者总计超 350 人的签署 [23]。这意味着诸多世界知名专家已经将人工智能给人类带来的生存威胁确定为全球亟须应对的优先事项。

当前国际社会围绕人工智能全球安全治理这一新兴的全球科技治理领域，主要焦点在于对自主武器系统的规制，具体的议题包括但不限于以下 5 个方面。

2.1　自主武器相关定义和特征

对于自主武器、致命性自主武器、人工智能赋能的武器系统、完全自主武器等概念界定和基本特征，目前国际上还未形成一致的看法。

俄罗斯认为，完全自主武器系统是不需要人类操作者参与的，用于执行作战和作战支援任务的一种无人技术手段（而非弹药）。自主武器系统的定义不应限制技术进步和不利于民用机器人、人工智能的研究，而应当符合以下要求：包括对自主武器系统武器种类、生产和试验条件及使用程序的说明；不局限于目前对LAWS 的理解，也要考虑未来的发展前景；在包括科学家、工程师、技术人员、军事人员、律师和伦理学家在内的专家群体范围内寻求普遍认同 。美国认为，自主武器系统是指一旦被激活，就可以识别、选择并使用致命力量打击目标，而无须操作员进一步干预的武器系统 。美国倾向于将人工智能赋能武器和人工智能武器进行区分，认为前者会使人类指挥的战争更精确、致命和有效，而后者则可以脱离人类控制做出致命的决定，强调要限制的是后一类武器，而非前者。阿根廷等 13 个发展中国家组成的集团认为，自主武器系统是指其关键功能中具有自主性的武器系统，包括在没有人为干预的情况下使用武力选择、瞄准和打击目标。这意味着根据传感器数据处理而非直接根据人类指令来选择目标和进行武力打击。中国则认为，致命性自主武器系统应满足但不限于致命性、全 自 主 性、 无 法 终 止 性、 滥 杀 性、 进 化 性 这5 个基本特征。

总的来看，国际社会对于自主武器、自动武器、自动化武器的区分还存在明显的模糊性和分歧，对于致命性自主武器系统应当包括哪些特点也争论不休，各方没有在人工智能军事应用的概念特征方面形成一致的认识，这对于如何对相关武器系统进行限制等治理行动造成了较大的阻碍。

同时，在是否需要制定自主武器相关的工作定义这一问题上，各方也存在较大分歧。一些国家认为，制定具有广泛共识的工作定义是有效治理的必要前提。例如，俄罗斯强调，明确定义是各代表团开始工作的起点，各国应把重点放在确定自主武器系统的定义和特征上，然后再开始考虑规制措施。土耳其表示，在没有定义的情况下制定具有法律约束力的文书将难以实现。但也有一部分国家认为，不需要制定广泛认可的工作定义，也能推进这一领域的相关工作。爱尔兰就表示，关于自主武器系统缺乏全面的谈判定义不应被视为进展的障碍，例如“恐怖主义”和“核武器”就没有国际公认的定义，但相关的国际合作仍可以照常进行。

2.2　自主武器系统的具体规制方案

目前，国际社会围绕自主武器系统具体规制方案这一议题，主要呈现出以下 3 类主张。

一是建立新的具有法律约束力的国际文书（Legally Binding Instrument，LBI）， 禁 止 和 限制特定类别自主武器系统的使用。如效仿《特定常规武器公约》对不可探测碎片、燃烧武器、集束弹药、激光致盲武器、战争遗留物的规制，建立第六附加议定书。持这类观点的主要是以阿根廷、菲律宾等为代表的人工智能技术和军事应用程度较低的广大发展中国家，以及以国际红十字委员会、“禁止杀手机器人运动”组织为代表的非政府组织。目前，阿根廷、厄瓜多尔、哥斯达黎加、尼日利亚、巴拿马、菲律宾、塞拉利昂和乌拉圭已经联合向联合国提交《特定常规武器公约》第六附加议定书草案 [26]。据统计，截至 2023 年 5 月，已有 90 个国家赞同展开对制定一项关于 LAWS 问题的具有法律约束力的国际文书进行谈判 。

二是通过一项不具有法律约束力的行为准则或政治声明，制定相关原则、现有法律适用的解释等“软法”，对自主武器系统的研发和使用进行规范。持这一观点的主要有美国、俄罗斯、以色列、印度、土耳其等人工智能军事应用走在前列的国家。美国坚决不支持谈判一项关于自主武器系统的具有法律约束力的文书。在 2021 年《特定常规武器公约》致命性自主武器系统问题政府专家组第二期会议上，美国就旗帜鲜明地表示，“现有的国际人道主义法及国家层面执行国际人道主义法的有效措施，足以应对致命性自主武器系统带来的挑战 。”

三 是 双 层 方 案（Two-Tied Approach）， 即分两个层级对自主武器系统进行有区别的管制，禁止完全脱离人类控制和负责任的指挥链运作的完全自主致命武器系统，管理其他具有自主性的致命武器系统。这一主张的代表国家是法国、德国、芬兰、荷兰、挪威、西班牙和瑞典7 个欧盟国家。2022 年 3 月，在向联合国提交的立场文件中，这 7 个国家共同提出了针对自主武器系统的分类管理办法，即宣布在人类控制和负责任的指挥系统之外运作的全自主致命武器系统为非法，监管其他具有自主性的致命武器系统，以确保遵守国际人道法的规则和原则，保持人的责任和问责制，确保适当的人类控制，并实施风险缓解措施 。目前，已有包括美国、新西兰、阿根廷、澳大利亚等在内的相当一部分国家表示支持采取双层方案。这表明，国际社会在针对自主武器系统的具体规制措施方面正在朝着一定的共识方向前进。

2.3　国际人道法对自主武器系统的适用

在国际人道法适用这一问题上，各方普遍认为国际人道主义法继续全面适用于所有武器系统，包括致命性自主武器系统的潜在发展和使用；各国负责计划和进行攻击的人必须遵守国际人道主义法；基于新兴技术的武器系统的潜在使用必须按照适用的国际法来进行，通过指挥控制链来实施。平民和战斗人员在任何时候都应受到来自既定习惯、人道原则和公众良知要求的国际法原则的保护和管辖。

但是，在是否需要制定新国际法来规制这类武器系统的问题上，国际社会存在较大的歧见。美国、俄罗斯等国家认为，包括区分、比例和预防措施原则在内的现有国际人道法，已经为管制自主武器系统提供了一个全面的框架，不需要制定新的法律规范。2021 年 12 月，在《特定常规武器公约》第六次审议大会上，俄罗斯明确反对制定任何关于自主武器系统的具有法律约束力的国际文书，也不同意暂停开发和使用这类系统及相关技术，因为这将会对民用领域的高科技发展产生负面影响，也会影响社会安全目标的实现。与此针锋相对的是，以红十字国际委员会等为代表的行为体强调，现有规则并不能完全解决 LAWS 所引发的人道、法律和道德关切，需要具有法律约束力的新规则 来 阐 明 国 际 人 道 法 如 何 适 用 于 LAWS 的 规制。新规则应规定对不可预测的自主武器系统予以明令禁止；基于根本道德关切，禁止使用杀伤人员的自主武器；对于未被禁止的 LAWS，需要对其目标类型、使用时长、地理范围和规模、使用场景、人机互动的设计和使用进行限制。

2.4　有意义的人类控制

有意义的人类控制（Meaningful Human Control，MHL）是指维护人类对于武力使用的判断和干预等能动性，包括：重新定义或修改武器系统的目标或任务或使其适应环境的能力；根据需要停用、中止、终止或中断其操作和使用；限制武器系统使用范围和规模的能力；能够理解和解释武器系统的功能，以便回顾性地提供解释 。人类判断即人类而非机器根据他们对当时所掌握信息的评估，真诚地作出特定判断。目前，大部分国家支持对自主武器系统保持有意义的人类控制这一提法。例如，德国和土耳其表示，有意义的人类控制框架可提供一个重要基础，在此基础上可以达成共识。墨西哥表示，有意义的人类控制是现有国际人道法和国际人权法的隐含条件，必须在武器系统全生命周期中进行有意义的人类控制。阿根廷也强调，有意义的人类控制至关重要，应成为确定是否遵守国际人道法及伦理原则的关键标准。如果要按照国际人道法使用自主武器系统，就必须保证由有意义的人类控制。土耳其和巴勒斯坦均表示，不符合有意义的人类控制的自主武器系统与国际人道法相悖，应当被严格禁止。

然而，美国和俄罗斯反对有意义的人类控制这一概念。美国宣称，人类控制本身不是一项法律要求，而只是帮助确保遵守国际人道法的一种手段。国际人道法并未将“人类控制”一词作为对武器系统的要求，几乎所有的武器和弹药都不受人类控制。自主性并不会降低对武力使用的控制，反而会加强对武力的控制，从而有助于提升对平民的保护。美国不同意制定“新的人类控制标准”，认为有意义的人类控制这一概念正在导致各方的分裂，而避免这种情况的办法是制定一项澄清国际人道法如何适用于自主武器系统的国际文书。俄罗斯也对有意义的人类控制这一概念表示反对，并表示坚持这一提法可能会导致意见两极分化，也难以让各国找到合适的定义。挪威等部分国家秉持折中的看法，认为如果各国不能在使用有意义的人类控制这个术语上达成一致，可以聚焦有意义的人类控制所包含的基本要素，比如可预测性、可理解性、可解释性、可靠性等方面。

2.5　风险缓解与建立信任措施

人工智能军事应用会带来哪些风险？如何缓解这些风险？这也是当前人工智能全球安全治理领域的关键议题之一，国际社会对此高度关注。

目前，治理各方对管控人工智能军事应用的各类风险达成了原则性的共识。联合国《指导原则》第六条明确，在发展或取得基于致命性自主武器系统领域新技术的新武器系统时，应考虑到实体安保、适当的非实体保障（包括针对黑客攻击或数据欺骗等网络安全问题）、落入恐怖主义团体手中的风险和扩散的风险；第七条进一步指出，风险评估和缓解措施应成为任何武器系统新技术的设计、发展、测试和部署周期的组成部分。此外，各方还意识到，必须考虑到平民伤亡等风险，以及有助于减少各类风险的预防措施。应酌情考虑其他类型的风险，包括但不限于意外交战的风险、系统失控的风险、扩散的风险及恐怖组织获取的风险。针对这些风险的缓解措施可包括：对系统进行严格的测试和评估，法律审查，易于理解的人机界面和控制，培训专业人员，建立理论和程序，并通过适当的交战规则限制武器的使用；在可行和适当的情况下，必须制定涵盖所有可能或预期使用情况的可验证性和认证程序，应分享应用这些程序的经验；在可行和适当的情况下，必须将跨学科的观点纳入研究和开发，包括通过独立的伦理审查，同时考虑到国家安全因素和对商业专有信息的限制。

关于这一议题的主要分歧在于，风险缓解措施和建立信任措施能否取代具有法律约束力的国际文书。英美等国家认为，这类措施足以有效治理人工智能军事应用带来的风险，无须额外制定具有法律约束力的国际条约。而一些国家则认为这类措施并不能取代具有法律约束力的国际条约。例如，菲律宾表示，避免使用与武力相关的人工智能风险的最佳方法仍然是禁止使用超出人类控制范围、不具有可理解性、可靠性等的武器。风险缓解措施不应仅限于国内层面，而应拓展到多边商定框架。古巴也强调，具有法律约束力的国际文书才是避免和消除部署此类系统所带来风险的最有效措施。

人工智能全球安全治理是全人类面临的共同课题，从维护人类共同安全和尊严出发，有效管控人工智能军事应用引发的全球安全风险，是各国安全发展的必要条件和义不容辞的责任。当前，围绕人工智能全球安全治理这一领域，一些代表性的主权国家、国际组织、技术社群和非政府组织等行为体均认识到了人工智能军事应用的风险和治理的必要性，表达了自身的立场观点，并展开了一系列治理行动，这是积极的方面。但与此同时，各方在概念特征、治理路径、国际法适用、人类控制等具体的议题中，仍存在显著分歧，人工智能全球安全治理仍面临主体间信任赤字、治理平台碎片化、治理进程难以取得实质进展等诸多挑战 。不难预见，随着生成式人工智能的快速发展与应用，以及越来越多的智能无人武器在俄乌冲突等局部战争中的广泛使用，人工智能全球安全治理的重要性将会愈加凸显。在此背景下，各方要着眼全人类共同利益，秉持人类命运共同体理念，践行全球安全倡议，携手应对人工智能军事应用带来的全球安全威胁和挑战，以联合国平台为核心，以其他机制为补充，求同存异，探索具有广泛共识的人工智能全球安全治理方案。中国作为人工智能发展大国，需把握好负责任推进人工智能军事应用与推动人工智能全球安全治理之间的合理平衡，倡导以人为本、智能向善、多元参与、开放对话、共建共享、合作共赢，进一步参与和引领人工智能全球安全治理进程，在这一领域推动构建人类命运共同体，为建设持久和平、普遍安全的世界做出积极贡献。