关注 │ 美国智库分析人工智能未来对网络安全的可能利害影响

一年多来，人工智能 (AI) 一直主导着公众讨论，从非正式对话到认真思考其造福（或破坏）社会的潜力。关于人工智能未来的讨论范围通常从杀手机器人的存在风险到气候变化的潜在解决方案。但这些威胁和好处仍然是假设的，至少在撰写本文时是这样。因此，在评估如何安全地使用人工智能时，重要的是要检查现在存在或近期可能出现的机会和危险。

某种形式的“人工智能”并不新鲜。数十年来，计算机一直在分析数据并自动化人类任务。改变的是这样做的成本、底层输出的质量以及它的使用方式。特别是，人工智能创建内容和自动化操作的能力代表了人工智能在包括网络安全在内的许多领域使用的新领域。

软件和数据的技术进步将对数字安全产生巨大影响。基于人工智能的工具，无论是用于自动化、认知还是生成，都可以用来做好事，也可以用来做坏事。例如，分析网络流量是否存在潜在入侵的工具也可以用于使入侵更难以检测。用于生成类人内容的工具可以轻松用于合法和非法目的。

组织正在快速部署商业和公开可用的人工智能工具，但往往缺乏如何以增强而不是降低其整体安全性的方式进行部署的指导。本文的目标是为这些组织（人工智能工具的最终用户）提供实际帮助。为此，阿斯彭研究所的网络安全计划（Aspen Cyber）召集了来自行业、政府和民间社会的领导者组成的工作组，就如何尽可能安全有效地使用人工智能制定具体建议。

为制定这一指南，工作组从头开始：定义人工智能主要帮助防御者的“好地方”和人工智能主要帮助攻击者的“坏地方”。建立这些终点为工作组提供了两个衡量潜在行动的标准，以及哪些干预措施可以使组织（或有时是更广泛的社会）走向“美好”或“糟糕”的未来。用最简单的话来说，在“美好”的未来，网络防御更加高效，防御者协作更加有效，人工智能工具负责任且透明。在“糟糕”的未来，网络攻击更容易发展，犯罪分子共享专有信息和数据集，并且当人工智能工具被滥用时没有追索权。

那么，什么样的行动才能走向那个“好地方”呢？该工作组的主要建议包括：

• 恪守网络安全原则。网络安全的基础知识始终适用，尤其是在使用人工智能时。

• 不要闭关自守。人工智能和网络安全从业者应该共同努力。

• 主动管理人工智能将做出的决策。人工智能工具将做出组织无法审查的决策，因此需要深思熟虑和仔细规划来部署它们；对它们能够做什么做出肯定的选择。

• 改进日志记录、日志审查和日志维护。人工智能驱动的攻击将越来越难以检测；保存和审查数据至关重要。

• 对人工智能保持明智透明。组织应该考虑其实际上希望通过人工智能透明度实现什么结果，并确定如何相应地构建披露——甚至是否有必要披露。

• 确保合同包含人工智能参与规则。即使一个组织不使用人工智能，其合作伙伴也可能会使用。组织应考虑将自己的人工智能政策下达给合作伙伴和第三方。

• 谨防随波逐流。在具有可操作性或其他意义的地方安装人工智能工具——如果人工智能工具没有得到保证，可以对人工智能说不，或者使用其他技术。

（一）背景

现代人工智能工具可以帮助组织快速识别和响应威胁，并提高网络安全人员的效率和有效性，从而使世界更安全，免受网络安全威胁。企业高管和IT安全领导者可以使用人工智能来优化决策、评估风险并做出财务上合理的运营决策。安全团队可以使用人工智能工具来分析大量数据并检测异常活动或恶意用户。这将使防御者能够更多地关注需要人类理解的调查。

如果防御者能够利用人工智能相对于攻击者的优势，这个未来将成为可能。以下是人工智能工具如何提供这些独特优势的具体描述。

（二）未来场景：AI极大改善网络安全

1、提高防御者的效率

人工智能增强了组织以更少的资源、更高效、更快的速度运行现有网络安全流程的能力。人工智能工具通过处理大量数据并识别异常行为使这成为可能。这些人工智能工具更早、更准确地检测威胁，使分析人员能够更快地采取行动。虽然攻击者传统上受益于攻击执行的非对称优势，但防御者却依赖于不确定的检测信号。人工智能工具改变了这种平衡。具体能力包括：

• 漏洞优先级排序——防御者根据风险和成本分析漏洞，以优化网络安全支出的投资回报。

• 网络流数据——防御者分析网络流数据，通过识别与正常网络行为的偏差来发现异常数据传输和未经授权的远程访问，从而能够及早检测和响应恶意活动。

• 用户行为——防御者分析用户行为，例如登录时间、位置和活动，以发现与典型行为的偏差，以检测内部威胁。

• 潜在恶意软件——防御者分析文件和系统进程，以发现传统基于签名的工具无法检测到的潜在恶意软件。

• 端点数据——安全团队分析端点数据，以查找未经授权的设备访问和进程或滥用合法工具（即“离地攻击”）的迹象。

• 隔离受感染的端点或进程——安全团队采取主动措施隔离端点并缓解可疑入侵，以免造成重大危害或跨系统横向移动。

• 网络钓鱼尝试——组织分析电子邮件或其他通信中的语言，以检测和阻止网络钓鱼尝试。

早期准确的检测可以减少误报方面的浪费，并有助于标记正例，否则可能无法检测到进一步调查。评估团队使用人工智能工具通过更好的指标、可视化和决策树来更有效地制定决策。一些例子包括：

• 指标——组织通过对缓解措施、事件和响应的自动分析来了解其网络安全有效性。

• 可视化——防御者通过动态可视化相关数据（例如网络流量、访问模式和用户行为）来实时查看异常情况，从而优先考虑网络安全工作。

• 决策树——安全领导者根据对特定事件的影响和置信水平的人工智能分析，使用定制的语境决策树。

如果怀疑有恶意活动，人工智能工具会部署自动化安全措施，以缩短检测和缓解间的时间：

• 响应时间——人工智能工具对模式偏差做出响应，并以最少的人为干预部署自动响应，从而最大限度地减少不良事件的持续时间和影响。

• 迭代响应时间——人工智能工具经过事件后报告的培训，以完善它们检测、评估和响应各种场景的标准。每次入侵都是一次学习机会，可以提高未来安全工具的响应能力。

• 检测质量——人工智能工具持续接受事件数据训练，以不断完善其决策和检测能力。
  

这些功能对网络安全人员有多种影响：

• 提高生产力——人工智能工具提高效率并减少网络安全任务所需的人员数量，从而缩小整体网络劳动力缺口。

• 提高员工满意度——人工智能工具可以执行平凡、乏味或例行的任务，使网络安全人员能够腾出时间来处理更具挑战性的问题，从而提高工作满意度并减少倦怠。

• 加快入职速度——人工智能工具使新员工能够更快地融入网络安全队伍。

最后，人工智能可以提高现有和新代码的安全性和质量：

• 代码评估——人工智能工具可以扫描现有代码和新代码，以查找传统静态分析可能遗漏的易受攻击的代码模式变体。

• 代码建议——人工智能工具用于分析安全编码实践并建议对遗留代码进行改进，从而减少手动代码分析和重写所花费的时间。

• 代码监控——人工智能工具在代码开发时实时检查代码，并主动识别安全编码实践中的漏洞或偏差。

• 代码预测——人工智能工具用于分析现有代码以及未来潜在的修改可能如何导致漏洞。

• 代码重写——人工智能工具可以使用更安全的现代模式、语言和库重写遗留代码。

• 代码自动化——人工智能工具可以自动生成代码补丁，以减轻其已识别的威胁风险。

2、改善防御者供应链中的关系

人工智能工具还可以提高服务质量以及网络安全流程中用户的待遇。组织正在使用人工智能工具来开发更有效的客户服务聊天机器人，以适应用户的知识和能力。人工智能工具实现这一目标的一些方法包括：

• 缩短响应时间——人工智能工具生成针对用户角色、环境及其遇到的问题量身定制的自动响应。这些响应使用日志和事件数据来提出或自动应用最合适的问题解决方案，从而实现更早、更全面的解决。

• 高质量的用户参与度——人工智能工具分析哪些解决方案和参与模型可以带来高用户满意度，从而为用户参与度的最佳实践提供信息。

• 适应用户需求——人工智能服务工具评估用户的知识和技能水平，并提供适合个人需求的指导，包括当最终用户无法补救情况时提升人工干预。

• 节省劳动力——人工智能工具可以更好地利用网络安全专家，解决不需要人工分析的问题，并为网络安全专家提供量身定制的背景信息和针对需要人工分析的问题的可能干预措施。

3、人工智能责任和质量的改进

人工智能工具正在生成高质量、准确的结果，并且在未能做到这一点时承担责任。组织可以在提供自由文本输出的大型语言模型（LLM）中区分恶意篡改和所谓的“幻觉”。人类处于中心地位，知道他们何时与人工智能系统交互、输出中的任何潜在限制和风险，并且在高风险场景中可以干预或超越人工智能系统。组织了解人工智能的输出，并可以区分恶意篡改的情况，并可能将此类情况移交给政府。这是通过以下方式实现的：

• 人工智能社会契约——防御者与政府合作制定了一份普遍接受且易于理解的社会契约，列出了围绕网络安全中人工智能模型的创建、使用和治理的关键道德责任。

• 防御者主导的创新——防御者采用围绕人工智能模型的创新文化，并开发流程以从经验中学习，并鼓励在如何创建和部署模型方面进行受控实验。

• 更好的控制——防御者可以访问模型、数据和以前的输出，包括那些被发现实际上不正确的输出。这使他们能够更快地识别输出是由篡改还是分析错误造成的。攻击者无法访问如此广泛的数据或分析他们所拥有的数据所需的工具和基础设施。

• 模型监控——防御者实时监控系统并使用其他人工智能工具来检测模型的异常行为。这样可以及早检测到输入的篡改并检测到被操纵的输出，并可以阻止这些输出以防止出现负面结果。

• 模型透明度——防御者了解模型的功能和局限性及其对其场景的影响；他们使用风险框架、系统测量和评估工具来确保他们的人工智能系统安全可靠。

• 迭代改进——即使发生篡改，防御者也会修复模型，使此类篡改尝试变得毫无用处。这种能力迫使攻击者在未来的篡改方式上不断创新，从而增加了攻击者的成本。

• 生成式人工智能对策——防御者使用内容来源和人工智能内容检测来防止深度造假内容污染他们的平台。

防御者比大多数攻击者拥有更有效地使用人工智能的能力，因为最佳模型需要大量高质量数据，而这些数据只有最大的组织或最先进的民族国家才能获得。因此，政府和企业比犯罪企业更有效地运用人工智能工具。防御者在这里也受益，因为：

• 数据广度——防御者拥有多个现成的高质量数据源来训练他们的模型，而攻击者必须更多地依赖“黑市”数据。由于规模有限、采购成本高以及缺乏质量监控，黑市产品的质量普遍较差。

• 数据深度——由于容量更大、劳动力专业化和购买力更强，防御组织可以更轻松地使用大量数据。

• 数据迭代——防御者可以从供应商和客户那里获得有关其数据的质量、限制和使用的建设性反馈。这使他们比攻击者更有效地迭代现有模型和来源。

（一）背景

如果犯罪分子和流氓国家能够利用现代人工智能工具比防御者更快地适应攻击、协作和学习，那么就可以增强攻击者的能力，并使防御者处于不利地位。有进取心的网络犯罪分子可以使用人工智能工具来编写恶意软件，无论他们的编码知识如何。他们可以与流氓国家合作，利用该国家获得的高质量数据来训练人工智能模型。然后，犯罪分子和流氓国家都会改进攻击技术和避免被发现的能力，借此进行盗窃、间谍活动或破坏性攻击。由于攻击者将使用防御者无法访问或使用的模型和数据集，防御者只能对每次入侵做出反应，此时攻击者可以转向新的人工智能生成技术。这些工具的速度和功能将最大限度地减少修改攻击的成本，而防御它们的成本却以无法控制的速度增加。

如果人工智能赋予攻击者相对于防御者的明显优势，那么这个未来就有可能实现。以下是人工智能工具在未来如何发挥作用的具体描述。

（二）未来情景：人工智能极大地损害了网络安全

1、提高犯罪分子的效率

人工智能使网络攻击变得更简单、成本更低。犯罪动机更高，因为人工智能工具可以提高几种类型攻击的回报和成功率，例如：

• 目标是集中的资产——使用生成式人工智能来补充核心业务功能，既可以在专门的人工智能系统中创建和集中更敏感的数据，又可以提高犯罪分子利用这些数据的回报。

• 定制恶意软件——人工智能工具可按需生成定制恶意软件，可针对特定目标进行定制。
  

• 威慑力弱——犯罪分子不太关心违反知识产权法和道德准则等规则，并且对人工智能工具的使用受到的限制也较少。

• 加密劫持的人工智能自动化——犯罪团伙使用基于人工智能的自动化脚本来利用受害者机器的计算能力，提高加密劫持的效率和回报。

• 鱼叉式网络钓鱼中的生成式人工智能——攻击者使用生成式人工智能来创建更加个性化的网络钓鱼电子邮件和可信的发件人角色，从而增加成功的可能性。

• 开源情报机器学习——机器学习工具通过改进对公开数据源的分析，帮助攻击者更好地了解他们的目标。

• 针对未经授权的访问的机器学习——机器学习工具可帮助攻击者搜索互联网以更轻松地找到易受攻击的系统，从而增加成功攻击的可能性。

• 针对高级恶意软件的机器学习——攻击者将机器学习融入恶意软件中，使其能够从经验中学习并动态修改其行为以避免检测。

• 攻击面枚举——机器学习工具帮助恶意软件更有效地找到有价值的资产。

• 漏洞发现——机器学习工具帮助攻击者发现漏洞，利用这些漏洞来访问枚举的资产管理系统。

• 用于虚假信息活动的生成式人工智能——攻击者使用生成式人工智能来创建虚假音频和视频内容（“深度造假”），从而提高宏观目标虚假信息活动和微观目标社会工程活动的欺骗可能性。

• 人工智能破坏人工智能——人工智能攻击能够检测并避开人工智能防御，从而使其变得毫无用处且可被利用。

2、改善犯罪供应链中的关系

人工智能工具还会影响参与网络犯罪的实体类型以及它们间的互动方式。最初，人工智能模型使用大量高质量数据集，这些数据集通常仅提供给合法组织和负责任的国家。随着时间的推移，犯罪集团和较小的流氓国家通过联合和整合他们的努力来做出反应，创建可用于恶意使用的类似工具。这种整合增强了犯罪分子的能力：

• 更好的攻击者分工——犯罪分子和国家具有不同的优势，他们的合作伙伴关系不断发展以创造攻击者的规模经济。国家提供资源和目标清单，而犯罪组织则拥有特定的专业知识或愿意发动即使是流氓国家也可能不愿意这样做的攻击。对预期目标的人工智能分析被用于识别潜在的合作者和最有可能成功的攻击。

• 全球防御分布不平等——财政和计算资源较少的国家无法针对人工智能攻击部署有效的防御。相反，富裕国家防御能力的提高导致攻击者将注意力集中在防御能力较弱的国家。

• 改进勒索软件部署——擅长使用勒索软件的犯罪组织与流氓国家合作破坏目标国家的经济。

• 改进影响力运作——更小、更灵活的犯罪集团收集个人信息来定制国家宣传。

• 恶意人工智能模型开发——流氓国家为犯罪组织提供数据和基础设施，用作恶意人工智能模型开发的训练场。

• 综合洗钱——犯罪组织通过提供绕过经济障碍的连接并使用人工智能生成可信的交易轨迹来帮助民族国家洗钱。

• 不一致地遵守法律边界——虽然合法组织遵守限制人工智能的国家法律和国际协议，但犯罪组织却不受限制地跨境使用人工智能。

此外，人工智能工具的民主化降低了想要参与网络犯罪的潜在参与者的进入门槛：

• 级联成本——人工智能既减少了进入壁垒，又增加了规模经济，这两者都扩大了攻击的规模和规模，并实现了更有效的策略改变。

• 简单的黑客工具包——犯罪分子使用自动化黑客工具，只需最少的知识，但可以渗透复杂的企业或政府防御。

• 改进的网络钓鱼提示——犯罪分子使用现成的生成式人工智能提示来生成个性化的、特定于文化的网络钓鱼内容，并可以大规模分发。

• 诈骗内容——犯罪分子可以轻松地为大规模社交媒体活动生成深度造假内容，

• 基于人工智能的勒索软件——犯罪分子使用现成的基于人工智能的勒索软件，该软件利用来自先前受害者行为的大量数据来最大限度地提高付款的可能性。

在目标端，使用人工智能的组织必须依赖少数拥有这些大数据集的供应商。这在供应链中造成了集中的漏洞点，攻击者可以利用这些漏洞对目标造成大规模成本。攻击者可以通过以下方式利用这些漏洞点：

• 污染训练数据——犯罪分子使用基于人工智能的应用程序编程接口（API）来操纵训练数据和模型，以进一步破坏用户或促进漏洞的广泛传播。

• 隐藏的网络流量——犯罪分子可以创建更难从人类流量中分类的合成流量。

• 后门渗透——犯罪分子在客户使用的人工智能模型中放置后门；从而也可以访问客户系统。

• 常见漏洞——犯罪分子可以利用特定漏洞攻击多家公司，因为所有公司都依赖相同的底层人工智能供应商。

• 勒索软件即服务（RaaS）攻击——以犯罪企业为中心 RaaS可以使用基于人工智能的攻击更轻松地扩大赎金支付范围。

• 跨共享资源开展间谍活动——犯罪分子利用多家公司使用的共享人工智能基础设施来窃取敏感信息。

3、人工智能责任和质量的困难

人工智能工具经常生成质量差、不准确的结果，很难与非人工智能内容区分开来。此外，模型和开发人员不对这些错误负责。通过降低发动某些类型网络攻击的成本，对手现在可以将攻击外包给更小、更隐蔽的实体，从而使追究这些国家的责任变得更加困难。防御人工智能攻击的成本远远超过开发这些攻击的成本，而且能力差距正在扩大：

• 全球影响力——尽管一些国家采取了法律保障措施，但人工智能平台仍在法律允许的司法管辖区中被开发和用于恶意目的。

• 与新颖性作斗争——人工智能支持的防御措施与不属于其训练集的攻击作斗争。

• 犯罪分子的未经许可的创新——犯罪分子可以毫无限制地创建攻击工具，因为他们不遵循限制合法开发者的相同道德规范和规则。

• 无谨慎义务——人工智能公司没有明确的法律义务来保护其数据和模型，因此许多公司没有充分投资于防御。

• 高级证据篡改——犯罪分子可以利用生成式人工智能以低廉的成本创建虚假内容，从而使证据收集过程变得复杂。

• 公众信心丧失和社会制订受侵蚀——由于人工智能工具在促进恶意行为方面变得更加有效，公众对新技术失去了信心，合法的创新滞后，而恶意行为者却继续猖獗。公众对技术失去信心就会削弱对社会制度、民主制度和客观真理的信心。

• 公共资源被污染——深度造假等基于人工智能的攻击会导致数字公共资源变得更糟，从而赶走缺乏过滤此类材料手段的无辜实体。结果是较贫穷的实体必须在比有支付能力的实体更差的平台上运作。