80页 全球人工智能安全指数报告

该报告由全球顶尖AI专家组成的独立评审小组评估主流AI公司在六大领域的安全实践，包括风险评估、现有危害、安全框架、存在性安全战略、治理与问责以及透明度与沟通。报告指出了公司在管理风险上的巨大差异，并呼吁加强第三方监督及改进当前的治理结构，以应对当前及潜在的AI风险。

风险管理差距显著：尽管一些公司已经建立了初步的安全框架或开展了一些严肃的风险评估工作，但其他公司甚至尚未采取最基本的预防措施。

绕过限制（Jailbreaks）：所有旗舰模型都被发现易受对抗性攻击的影响。

控制问题：尽管许多公司明确表达了开发人工通用智能（AGI）的雄心，这种智能能够媲美或超越人类智能，但评审小组认为，目前所有公司的策略都不足以确保这些系统在安全范围内运行并保持在人类控制之下。

外部监督：评审人员一致指出，在缺乏独立监督的情况下，公司往往难以抵抗逐利动机而在安全方面偷工减料。尽管Anthropic目前的治理结构和OpenAI初期的治理结构被视为具有前景的案例，但专家呼吁对所有公司的风险评估和安全框架合规性进行第三方验证。

报告从政策、技术、伦理和国际合作等维度对全球多个国家的人工智能安全治理水平进行了系统性评估。报告覆盖了包括美国、中国、欧盟成员国、新加坡、日本等在内的30个主要经济体，旨在为全球AI安全治理提供参考框架。

报告显示，美国在技术研发能力与私营部门参与度方面处于领先地位，但其联邦层面的统一监管框架仍显滞后。欧盟凭借《人工智能法案》的推进，在法律规范建设上得分最高，但技术自主性和产业落地速度受到质疑。中国在AI技术应用场景规模与政府主导的基础设施投资方面表现突出，但报告也指出其透明度与国际协作机制存在提升空间。新加坡、加拿大等中等规模国家在平衡创新与风险管控的政策灵活性上获得较高评价。

值得关注的是，报告揭示了全球AI安全治理的两大薄弱环节：首先，超过60%的被评估国家尚未建立专门针对前沿AI系统的风险评估机制；其次，发展中国家普遍缺乏应对AI安全威胁的技术储备和人才资源。此外，报告警示生成式AI的快速普及正在加剧虚假信息、算法偏见等系统性风险，但仅有12个国家制定了相应的内容治理方案。

该报告建议各国加快构建“预防性治理”体系，包括建立动态风险评估模型、推动关键技术的国际认证标准，以及加强跨境数据流动的伦理审查。报告特别呼吁联合国等国际组织牵头制定AI军事化应用的全球性禁令，并提议将AI安全议题纳入气候变化等重大跨国议程的协作框架中。

2024年人工智能安全指数凸显了在快速发展的人工智能领域中，迫切需要更强的安全措施和问责制。尽管某些公司（尤其是Anthropic）在某些领域展示了值得称赞的实践，但整体结果揭示了问责制、治理和透明度方面的重大不足。公司必须在制定更清晰的安全框架、完善风险评估、增强透明度以及实施更严格的存在性安全策略方面采取更积极的行动，以确保它们的技术不会对社会带来不可预见的风险。