专题·人工智能安全治理 | 发展以人为本和智能向善的人工智能——《人工智能安全治理框架》治理思路解读 - 新鲜讯息

扫码订阅《中国信息安全》

邮发代号 2-786

征订热线：010-82341063

文 | 中关村实验室副研究员谭知行；中关村实验室研究员，清华大学计算机系副主任、教授徐恪

近年来，伴随着人工智能技术的快速进步，人工智能应用也在加速渗透到社会生活的各个领域。作为代表性的新兴技术，人工智能受到了社会各界越来越多的关注与期待，但也不可避免地带来了一系列安全风险。防范和化解人工智能带来的安全风险，是全世界共同面临的课题。面对人工智能快速发展中的各类问题，2024 年 9 月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》1.0 版（以下简称为《框架》）。《框架》是对习近平总书记宣布提出的《全球人工智能治理倡议》的贯彻落实，为应对人工智能带来的安全挑战提供基础性、框架性的指导，提出了构建“以人为本、智能向善”的人工智能的全面系统建设思路以及切实可行的实践指南，也为全球人工智能治理提供了参考范例。

一、人工智能安全治理的主要挑战

长期以来，人工智能研究的核心一直是围绕着提升人工智能在特定任务或应用中的表现能力而开展的。以大语言模型为代表的生成式人工智能的出现，凭借模型规模和数据规模的飞跃，在语言理解和多任务处理方面取得了巨大进步，不仅突破了过去人工智能只能针对特定任务或应用场景使用的局限性，还带来了更强的智能性与更广泛的应用性。与此同时，人工智能的快速发展也引发了安全方面的担忧。“人工智能教父”、诺贝尔奖与图灵奖获得者杰弗里·辛顿多次向世界各界提醒“机器控制世界”的可能性。

与其他信息技术不同，人工智能未来可能具备高度的自主性，加之当前对人工智能机制和机理的理解尚不透彻、不深入，使得人工智能是否会摆脱人类控制、伤害人类及环境甚至威胁人类的生存，迅速成为热点话题。人工智能的安全治理需求已成为全球共识。作为快速发展的新技术，人工智能的安全治理面临诸多挑战，主要包括以下三方面。

一是技术飞跃与认知滞后方面的挑战。近年来，人工智能的发展速度可谓“日新月异”，新方法、新技术、新应用层出不穷。然而，人类对人工智能的认知仍然远远滞后于技术的进步。图灵奖获得者约书亚·本吉奥等顶尖人工智能科学家最近提出的《AI 安全国际对话威尼斯共识》指出，目前“尚未开发出必要的科学手段来管控和保障对高级智能的使用”。此外，杰弗里·辛顿也表达了对“缺乏具有理论安全性保证的人工智能发展路径”的担忧。人工智能作为高度复杂的软件系统，建立在大量软硬件系统深度融合的基础上，而这些系统可能存在难以计量的未知漏洞，这进一步加大了人工智能的安全风险。人工智能可能带来的灾难性风险，很可能源于“未知的未知”（unknown unknowns）因素。由此，人工智能的安全治理会面临发展与安全、监管与创新等多方面的挑战。人工智能何时监管、如何监管以及监管成本如何控制，已成为人工智能安全治理方面亟待权衡的重大问题。

二是技术应用与社会影响方面的挑战。与许多新兴技术一样，人工智能是一种双用技术（dual-use technology），既能够造福社会，也可能对社会造成危害。当前，人工智能技术已高度融入社会生活，关于人工智能被滥用或恶用的报道屡见不鲜。人工智能的广泛应用不可避免地冲击现有社会秩序，涉及经济、伦理、认知等方方面面。此外，人工智能还可以与网络科技、生物科技等新兴技术相结合，进一步放大这些领域的安全风险。如何建立行之有效的规则，规范人工智能的研发与使用，降低人工智能的应用对社会秩序的负面影响，并使人工智能技术真正造福社会，是人工智能安全治理的核心目标与重大挑战。

三是技术规范与协同治理方面的挑战。人工智能的快速发展与广泛应用决定了人工智能的安全治理需要多利益攸关方的广泛参与。只有人工智能研发者、使用者和监管者在安全治理方面达成共识，并协力推进人工智能的安全研发与应用，才能促进它的健康发展。同时，正如《AI安全国际对话威尼斯共识》中所指出，人工智能带来的风险具有全球性，避免它可能引发的灾难性风险并非任何单一国家能够独立完成的任务，而是全世界共同面临的课题。因此，人工智能安全治理还需要解决如何推进跨国、跨利益攸关方广泛参与的问题。

二、建立人工智能向上向善的规则

针对人工智能安全治理面临的主要挑战，《全球人工智能治理倡议》阐明了我国在人工智能治理方面的基本原则和主张。《框架》在《全球人工智能治理倡议》的基础上进行了深化和细化，从风险管理的角度出发，对安全治理中采取的措施进行了详尽规划，旨在通过精准施策，以“小切口”应对复杂问题。在确保人工智能沿着“以人为本”和“智能向善”方向发展的前提下，尽可能减少对人工智能发展的限制与影响。

《框架》强调以促进人工智能创新发展为第一要务，确立了人工智能安全治理的四项基本原则。面对人工智能带来的安全挑战，《框架》提出了“包容审慎、确保安全”的基本方向，并具体采用“风险导向、敏捷治理”的原则，以快速有效的方式应对和化解人工智能快速发展与认知滞后的矛盾，平衡人工智能发展与安全之间的关系。在技术治理方面，《框架》提出“技管结合、协同应对”的思路，主张通过技术手段应对风险，同时提升技术的安全性，从技术、管理和多方参与等角度全面制定应对措施。在治理模式方面，《框架》提倡“开放合作、共治共享”，通过跨国合作和共享平台建设推动全球人工智能治理，共同应对全球性挑战。围绕人工智能安全治理的基本原则，《框架》涵盖人工智能安全风险分类、技术应对措施、综合治理手段以及安全开发和应用指引四大组成部分，其核心内容包括以下三个方面。

一是安全风险方面。人工智能的安全风险主要源于人工智能技术本身的特性及其应用场景的特点。《框架》从模型算法、数据安全、系统安全等技术要素出发，并结合人工智能在网络域、现实域、认知域和伦理域等人工智能应用场景的社会影响，系统梳理并分类了当前人工智能已存在的安全风险（如“信息内容安全风险”），以及未来可能出现的安全风险（如“脱离控制的风险”）。这一梳理与总结不仅有助于提高社会对人工智能安全风险的认知和防范意识，也为制定后续治理措施奠定了坚实基础。

二是应对治理措施方面。《框架》包括技术应对措施与综合治理措施两个部分。技术应对措施主要面向人工智能模型算法研发者、服务提供者和系统使用者，针对《框架》所总结的安全风险提出了具体的技术解决方案。这些措施吸收并总结了近年来国内外人工智能治理的共识与实践经验，并基于我国《生成式人工智能服务管理暂行办法》等政策进一步完善，覆盖人工智能全生命周期，旨在全面防范和化解人工智能的安全风险。综合治理措施的主要目的是形成完善多方参与的综合治理制度规范，整体思路围绕减少事故、尽早发现事故、对事故快速响应，并加强信息共享与经验交流。措施从以下十个方面提出具体规范：“实施人工智能应用分类分级管理”“建立人工智能服务可追溯管理制度”“完善人工智能数据安全和个人信息保护规范”“构建负责任的人工智能研发应用体系”“强化人工智能供应链安全保障”“推进人工智能可解释性研究”“建立人工智能安全风险威胁信息共享和应急处置机制”“加大人工智能安全人才培养力度”“建立健全人工智能安全宣传教育、行业自律、社会监督机制”“促进人工智能安全治理国际交流合作”。这些措施完整覆盖了人工智能技术及其场景。整体上，《框架》的应对治理措施以控制风险为主线，从发现识别危害源、降低事故发生概率、控制事故影响程度三个维度，提供了化解人工智能安全风险的系统性方案。

三是安全开发应用指引方面。为推进“以人为本”和“智能向善”人工智能的研发，《框架》针对人工智能的研发者和使用者这两个主要参与方，提出了具体的安全开发与应用指引，包含模型算法研发者安全开发指引、人工智能服务提供者安全指引、重点领域使用者安全应用指引、社会公众安全应用指引四个部分。这些指引作为对技术应对措施与综合治理措施的重要补充，提供了具体的实践建议，旨在有效管理当前人工智能的安全风险，保障人工智能技术的安全开发和社会友好应用。

三、共同推进人工智能的安全治理

《框架》明确了社会各方在人工智能安全治理中的角色及防范人工智能安全风险的应对措施。然而，人工智能的安全治理需要社会各方的共同支持与努力。社会各方应在《框架》的指导下，通过以下方式参与人工智能安全治理进程：综合运用《框架》中明确的技术应对措施；建立和完善《框架》中提出的综合治理措施；遵循《框架》中给出的安全开发应用指引。通过实际行动，各方参与到人工智能的安全治理进程中，共同推进人工智能向上向善。

自 2017 年国务院发布并实施《新一代人工智能发展规划》以来，我国相继出台了《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等一系列规章制度。习近平总书记宣布提出《全球人工智能治理倡议》，到此次发布的《框架》，都体现了我国始终秉承负责任的态度，致力于促进人工智能健康有序发展。《框架》的出台进一步完善了我国的人工智能治理体系，为规范人工智能应用、保障其健康有序发展提供了重要支撑。《框架》更加全面地展示了中国在人工智能安全治理领域的思考与探索，为全球人工智能安全治理提供了借鉴的范例。与此同时，《框架》对推动全球人工智能安全治理国际合作，促进形成具有广泛共识的人工智能治理框架有重要意义。

当前，人工智能正处于快速发展阶段。伴随技术进步和人类对人工智能认识的深入，其安全风险也必然不断变化，因此人工智能的安全治理注定是一项长期而持续的工作。本次发布的《框架》1.0 版本表明，《框架》并非一成不变的固定条文，充分考虑了人工智能快速发展的特点。未来将延续总体安全治理的原则与思路，持续迭代更新与完善，紧密追踪人工智能最新技术和应用，将不断变化的安全风险纳入安全治理范围，为各方应对人工智能安全风险提供及时、可靠的依据与指引。在当前，每个人都是人工智能蓬勃发展的见证者与亲历者。社会各方都有责任共同推动“以人为本、智能向善”的人工智能的发展，积极促进《框架》的落实，共同实现人工智能造福全人类的美好愿景。

（本文刊登于《中国信息安全》杂志2024年第10期）

分享网络安全知识强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号

《中国信息安全》杂志倾力推荐

“企业成长计划”

点击下图了解详情