新美国安全中心发布：《人工智能与国家生物安全风险的演变：能力、阈值和干预措施》

2020年，COVID-19使世界陷入一片混乱，估计有近2900万人死亡，造成严重的社会和政治混乱以及巨大的经济损失。然而，如果病毒的致死率更高、传播性更强，或者两者兼而有之，那么这次事件的影响可能会更加严重。几十年来，专家们一直警告说，人类正在进入一个潜在的灾难性大流行病的时代。历史上发生过很多这样的事例，特别是西班牙大流感、黑死病和查士丁尼瘟疫，如果按今天的人口比例计算，每一次大流行病的死亡人数都会让COVID-19相形见绌。

同样令人担忧的是，许多专家对未来几年可能发生的蓄意生物袭击敲响了警钟。这是有先例可循的，在911事件发生后的几周内，有人向美国立法者和媒体机构邮寄了含有致命炭疽孢子的邮件。这起事件可能预示着在未来，更广泛的生物能力意味着恶意个体和小团体将通过战略性生物袭击来破坏政府和社会。

准确衡量这些袭击几乎是不可能的，但人们需要在不透明的反事实、危言耸听、否认主义和可能发生的事件面前做出清晰的判断。无论可能性有多大，不可否认的是，生物袭击的破坏潜力是巨大的，领导人必须清醒地认识到生物安全的风险，同时在人工智能时代，这种风险将发生巨大变化。

在2023年7月的国会听证会上，美国人工智能初创公司Anthropic的首席执行官达里奥·阿莫迪（Dario Amodei）表示，在两到三年内，人工智能工具将“快速扩大拥有实施大规模生物袭击技术能力的行为者的范围”，这是一种“实质性风险”。英国前首相里希·苏纳克同样表达了迫切的担忧，即人工智能将很快使生物恐怖分子的能力发生阶跃式变化。美国副总统卡马拉·哈里斯（Kamala Devi Harris）警告说，“人工智能配制的生物武器可能危及数百万人的生命，并可能危及人类的生存”。这些说法很严重，如果属实，它们意味着生物恐怖主义风险大大增加，但这些说法是真的吗？

从理论上讲，人工智能扩大生物灾难的可能性和影响的潜力非常大，但迄今为止，人工智能对生物安全风险的影响微乎其微。我们无法确定更严重的风险最终是否会发生或何时发生，但对人工智能与生物技术可结合的几种能力进行仔细监测，可以提供有用的信息，包括基础模型实验指令的有效性、随着实验室自动化程度的提高对隐性知识需求的变化，以及人工智能驱动的宿主基因对传染病易感性和精准病原体工程的双重用途研究。为了避免措手不及，政策制定者现在就应采取行动，包括加强基因合成供应商的筛选机制，定期评估基础模型的生物武器能力，投资一系列人工智能技术安全机制，并准备在复杂的生物设计工具开始接近潜在的灾难性能力时对其实施许可要求，从而加强在人工智能时代的生物防御能力。

为了考虑人工智能将如何影响已有的生物风险，本报告借鉴了其姊妹研究报告《潜在危机：简述人工智能、重大危机与国家安全》，并将有关人工智能和灾难性风险的文献提炼为人工智能安全相关的四个方面：

（一）人工智能赋予生物科学的新能力

新兴的人工智能能力在两个方面为生物科学带来了巨大希望。首先，人工智能工具通过提供新颖、强大的手段来解释和操纵遗传信息，从而达到特定目的，这是推动合成生物学发展的独一无二的工具。尽管其中一些能力仍有待推测，但我们有充分的理由认为，人工智能具有巨大的潜力，可以推动生物学和医学取得前所未有的进步，并对灾难性风险产生重大影响。其次，人工智能基础模型有可能放大生物知识或专业知识有限的个人的生物能力。虽然目前人工智能工具在这一领域的作用还很有限，但如果这些工具的生物能力继续提高，它们可能会增加来自非国家行为者的风险。

（二）人工智能技术安全挑战

人工智能工具固有的技术安全挑战可能会以各种方式加剧生物风险，最明显的是基础模型有可能加速生物武器的生产。为了减少其系统被用于恶意目的的可能性，人工智能开发者试图在人工智能系统中建立防护栏，禁止将其用于邪恶目的。但是，尽管业界领先的基础模型经过训练可以拒绝危险或有害的请求，但可靠地限制系统输出的万无一失的技术仍有待开发。

研究人员正致力于开发更复杂的技术方法，以增强对人工智能基础模型输出的控制和防护机制。然而，随着模型复杂性的提升（如整合多模态数据），确保输出的可靠性和可控性变得更加困难。尽管限制人工智能系统输出在人工智能与生物风险的讨论中占据核心位置，但人工智能的其他一般性技术安全问题（如可解释性、数据拟合问题、泛化挑战以及预测模型的局限性）同样对生物技术风险构成潜在影响。

（三）将人工智能工具集成到复杂系统中

与航空业或军事系统等其他复杂系统一样，将人工智能工具融入更广泛的生物技术生态系统也会重塑风险。在生物技术领域，这些现象可分为两大类。首先，在一系列子领域中，自动化程度的提高会削弱技术人员对实验室操作的敏感性，破坏伴随传统实验室工作的非正式保障措施和激励机制，从而带来新的安全挑战。此外，人工智能与生物过程的不断融合可能会影响隐性知识在生物武器生产中的作用，尽管这种影响的程度仍有待观察。这些问题源于人工智能正在对基因编辑和生物制造等领域的实验进行变革，尽管这种变革尚处于萌芽阶段。

（四）生物技术中人工智能开发的条件

人工智能与生物技术相结合的风险状况，不可避免地会受到推动这些技术发展的各项条件的影响。目前主要是指：对人工智能-生物技术领域的投资情况；人工智能研究的领导权问题；以及有用研究的潜在负面影响。

近年来，人工智能-生物技术领域的投资激增。从2017年到2021年，人工智能驱动的生物技术领域的年投资额增长了近10倍，估计仅2021年就至少达到103亿美元。虽然这些投资预示着人工智能能力在生物技术领域的发展潜力巨大，但资本迅速涌入该领域可能会引发与安全相悖的加速和竞争态势。

随着大量投资涌入人工智能领域，在更广泛的人工智能研究领域，领导权正逐步从学术界向产业界转移。目前大多数领先的机器学习模型都是由私营部门生产的。2011年，人工智能专业的博士毕业生投身学术界或产业界的可能性各占50%。到2021年，65%的人工智能博士毕业生将投身产业界，只有28%的人留在学术界。生命科学领域也紧跟这一趋势，转向由行业主导的人工智能生物技术研究，谷歌DeepMind公司创建的人工智能模型AlphaFold就是代表性案例，该模型在2018年的蛋白质结构预测竞赛中击败了使用更传统方法的竞争对手。

研究人员往往会忽视或低估了项目的潜在负面影响。同时，尽管许多研究成果的初衷是积极向善的，但其潜在的破坏性往往并不能一目了然，尤其是在人工智能领域。为了有效应对人工智能与生物技术快速发展所带来的竞争态势及其潜在风险，我们必须综合考量一系列复杂且相互交织的激励因素，包括潜在的巨大利润空间、学术声望、对扼杀创新的合理担忧等。

考虑到人工智能和生命科学领域不断发展、相互关联的复杂性，因而存在固有的不确定性，即不同风险在人工智能与生物技术交汇点何时出现，以及在何种条件下出现。

本报告并不试图预测特定威胁的性质和时间，而是试图确定技术进步的特定领域，这些领域可能会以意想不到的方式导致灾难性风险发生重大变化。决策者需要对以下4个领域进行持续监测，以准确了解人工智能会改变生物安全风险的哪些方面以及如何应对这些风险：

（1）通用人工智能系统在支持先进生物实验方面的有效性；

（2）云实验室和实验室自动化在降低生物技术实验专业知识要求方面的进展；

（3）人工智能在研究宿主对传染病的基因易感性方面取得的双重用途的进展；

（4）病毒病原体精密工程的双重用途的进展。

虽然人工智能与生物学交叉领域的大多数灾难性风险尚未出现，但需要在其形成过程中进一步仔细监测。有一些明智的措施值得现在实施，以减少未来发生生物灾难的可能性，具体措施如下：

（1）进一步加强云实验室和其他基因合成供应商的筛选机制；

（2）定期对生物武器整个生命周期的通用模型的生物能力进行严格评估；

（3）投资建立技术安全机制，遏制对基础模型的滥用；

（4）更新政府生物防御投资，进一步优先考虑敏捷性和灵活性；

（5）从长远来看，考虑对具有潜在的造成灾难的生物设计工具实行许可制度。

以上建议措施旨在解决如下问题：如果不能先发制人地抵御风险，就会导致不必要或不可接受的脆弱性；如果及早干预人工智能工具的持续发展，就可以制定规范，确保抵御新出现的灾难性风险。鉴于人工智能和生物技术的进步在支持人类繁荣方面具有巨大潜力，以上这些建议还旨在为创新提供便利，尽可能减少监管干预。这些建议只针对人工智能特有的生物威胁，而不是范围更广的所有生物灾难性风险。此外，这些建议并没有直接解决目前关于人工智能模型以原始形式发布到互联网上供公众下载的争论。

综上所述，行业领袖和政府官员对人工智能驱动的生物安全风险发出的警告在很大程度上仍然是推测，即当前的人工智能并未显著改变生物安全风险。但一系列崭露头角的人工智能应用也许会提高大规模生物破坏的可能性和严重程度，即使破坏的程度和时间仍不明确。好消息是，行业和政府领导人有机会主动而不是被动地应对这些风险。对少数领域的持续检测可以帮助政策制定者和专家在风险出现时抢占先机，并在保护创新的前提下做出适当的反应。此外，现在就采取明智的措施，可以为人工智能时代的生物安全奠定更坚实的基础。尽管未来人工智能可能引发生物重大危机的说法令人生畏，但这些危机并非是不可避免的。