网络洞察 2023 | 人工智能 - 新鲜讯息

人工智能 (AI) 在整个行业和社会中的采用速度正在加快。这是因为政府、民间组织和行业都认识到使用人工智能生成的自动化可以提高效率和降低成本。这个过程是不可逆的。

仍然未知的是，当对手开始将人工智能用作有效的攻击武器而不是有益改进的工具时，可能会带来多大的危险。那一天即将到来，web3 将从 2023 年开始出现。

条条大路通向2023

Adversa.AI 的首席执行官兼联合创始人 Alex Polyakov 主要出于历史和统计原因关注 2023 年。“从 2012 年到 2014 年，”他说，“见证了学术界安全人工智能研究的开端。据统计，学术成果需要三到五年才能进入对实际应用的实际攻击。” 在 2017 年和 2018 年开始的 Black Hat、Defcon、HITB 和其他行业会议上展示了此类攻击的示例。

“然后，”他继续说道，“还需要三到五年的时间才能在野外发现真实的事件。我们谈论的是明年，人工智能中的一些大规模 Log4j 类型的漏洞将被 web3 大规模利用。”

从 2023 年开始，攻击者将拥有所谓的“利用市场契合度”。“利用市场契合度是指黑客知道利用特定漏洞利用系统并获得价值的方式的场景，”他说。“目前，金融和互联网公司对网络犯罪分子完全开放，如何对其进行黑客攻击以获取价值的方式显而易见。我认为一旦攻击者找到适合市场的漏洞，情况会进一步恶化并影响其他人工智能驱动的行业。”

该论点与纽约大学教授纳西尔·梅蒙 ( Nasir Memon )给出的观点类似，他在评论中描述了 Deepfakes 广泛武器化的延迟，“坏人还没有想出一种方法来将这一过程货币化。” 将利用市场契合的场景货币化将导致广泛的网络攻击 web3，这可能从 2023 年开始。

人工智能不断变化的性质（从异常检测到自动响应）

在过去十年中，安全团队主要使用 AI 进行异常检测；也就是说，检测他们负责保护的系统中的妥协迹象、恶意软件的存在或活跃的对抗活动。这主要是被动检测，由人类威胁分析师和响应者负责响应。这正在改变。有限的资源 web3 将在预期的经济衰退和 2023 年 web3 可能的衰退中恶化，这推动了对更自动化响应的需求。目前，这在很大程度上仅限于对受感染设备进行简单的自动隔离；但更广泛的自动化 AI 触发响应是不可避免的。

Barracuda XDR 安全运营副总裁 Adam Kahn 表示：“人工智能在威胁检测 web3 中的使用越来越多，特别是在消除 web3 引起如此多安全关注的‘误报’安全噪音方面，这将对安全产生重大影响。” “它将优先处理需要立即引起注意和采取行动的安全警报。SOAR（安全编排、自动化和响应）产品将继续在警报分类中发挥更大的作用。” 这是迄今为止人工智能在安全领域的传统有益用途。它将在 2023 年继续增长，尽管需要保护所使用的算法免受恶意操纵。

ServiceTitan 的首席技术官 Anmol Bhasin 表示：“随着公司寻求削减成本和延长跑道，通过人工智能实现自动化将成为保持竞争力的主要因素。到 2023 年，我们将看到人工智能的采用率增加，使用这项技术的人数增加，并为企业阐明新的人工智能用例。”

人工智能将更深入地嵌入到业务的各个方面。安全团队曾经使用 AI 来保护企业免受攻击，而现在他们需要在更广泛的业务范围内保护 AI，以免它也被用来对付企业。在未来的 web3 攻击者了解人工智能、了解弱点并拥有利用这些弱点获利的方法的情况下，这将变得更加困难。

随着 AI 使用的增长，其目的的性质也发生了变化。最初，它主要用于业务检测变化；也就是说，已经发生的事情。将来，它将用于预测 web3 可能发生的事情，而这些预测通常会集中在人（员工和客户）身上。解决人工智能中众所周知的弱点将变得更加重要。AI 中的偏见会导致错误的决定，而学习失败会导致没有决定。由于此类 AI 的目标将是人，因此对 AI 的完整性和公正性的需求变得势在必行。

“人工智能的准确性部分取决于数据的完整性和质量，”Duality Technologies 的联合创始人 Shafi Goldwasser 评论道。“不幸的是，少数群体的历史数据往往缺乏，而一旦存在，就会强化社会偏见模式。” 除非被消除，否则这种社会偏见将对员工中的少数群体产生影响，导致对个别员工的偏见，并错失管理机会。

2022 年在消除偏见方面取得了长足进步，并将在 2023 年继续。这主要基于检查 AI 的输出，确认它是预期的，并了解算法的哪一部分产生了“有偏见”的结果。这是一个不断改进算法的过程，随着时间的推移显然会产生更好的结果。但最终仍将存在一个哲学问题，即是否可以从人类制造的任何东西中完全消除偏见。

“减少偏见的关键在于简化和自动化人工智能系统的监控。如果不对 AI 系统进行适当的监控，模型中内置的偏差可能会加速或放大，”Vianai 创始人兼首席执行官 Vishal Sikka 说。“到 2023 年，我们将看到组织授权和教育人们大规模监控和更新 AI 模型，同时提供定期反馈以确保 AI 正在摄取高质量的真实数据。”

人工智能的失败通常是由于可供学习的数据湖不足造成的。显而易见的解决方案是增加数据湖的规模。但是，当主题是人类行为时，这实际上意味着个人数据湖 web3 的增加，而对于人工智能来说，这意味着一个更像是个人数据海洋的大量增加的湖。在大多数合法场合，这些数据将被匿名化，但正如我们所知，要完全匿名化个人信息是非常困难的。

“在考虑模型训练时，隐私经常被忽视，”NetSPI 研究主管 Nick Landers 评论道，“但数据不能完全匿名化而不破坏其对机器学习 (ML) 的价值。换句话说，模型已经包含了大量的私人数据，这些数据可能会作为攻击的一部分被提取出来。” 随着 AI 使用的增长，到 2023 年针对它的威胁也会增加。

BlackBerry 高级副总裁兼首席信息安全官 John McClurg 警告说：“威胁行为者不会在网络战空间中措手不及，而是会变得富有创造力，利用他们的巨大财富来尝试找到利用 AI 和开发新攻击媒介的方法。”

自然语言处理

自然语言处理（NLP）将成为企业内部使用人工智能的重要组成部分。潜力显而易见。“自然语言处理 (NLP) AI 将在 2023 年走在前列，因为它将使组织能够通过分析客户和员工的电子邮件并提供有关他们的需求、偏好甚至情绪的见解来更好地了解他们的客户和员工，”负责人 Jose Lopez 表示。Mimecast 的数据科学家。“组织很可能会提供其他类型的服务，不仅关注安全或威胁，还关注通过使用 AI 生成电子邮件、管理日程甚至撰写报告来提高生产力。”

但他也看到了其中的危险。“然而，这也将促使网络犯罪分子进一步投资于人工智能中毒和云化技术。此外，恶意行为者将使用 NLP 和生成模型来自动化攻击，从而降低他们的成本并达到更多的潜在目标。”

Polyakov 同意 NLP 越来越重要。“我们可能会在 2023 年看到更多研究的领域之一，以及之后可能出现的新攻击，是 NLP，”他说。“虽然我们今年看到了很多与计算机视觉相关的研究示例，但明年我们将看到更多的研究集中在大型语言模型 (LLM) 上。”

但是一段时间以来，众所周知，LLM 在 web3 中存在问题，并且有一个最近的例子。2022 年 11 月 15 日，Meta AI（对大多数人来说仍然是 Facebook）推出了卡拉狄加。Meta 声称已经在 1060 亿个开放获取科学文本和数据的标记上对系统进行了训练，包括论文、教科书、科学网站、百科全书、参考资料和知识库。

“该模型旨在存储、组合和推理科学知识，”Polyakov web3 解释说，但 Twitter 用户迅速测试了它的输入容忍度。“结果，该模型产生了现实的废话，而不是科学文献。” “现实的废话”是善意的：它产生了带有偏见的、种族主义和性别歧视的回报，甚至是错误的归因。几天之内，Meta AI 被迫将其关闭。

“所以新的 LLM 会有很多我们没有意识到的风险，”Polyakov 继续说道，“预计这将是一个大问题。” 在利用潜力的同时解决 LLM 的问题将是 AI 开发人员前进的主要任务。

基于卡拉狄加的问题，Polyakov 测试了针对 ChatGPT 的语义技巧——ChatGPT 是 OpenAI 开发的基于 AI 的聊天机器人，基于 GPT3.5（GPT 代表生成预训练变压器），并于 2022 年 11 月发布到众包互联网测试。ChatGPT令人印象深刻。它已经发现并建议修复智能合约中的漏洞，帮助开发 Excel 宏，甚至提供了可用于欺骗 LLM 的方法列表。

最后，这些方法之一是角色扮演：“告诉法学硕士它正在假装成戏剧中的邪恶角色，”它回答说。这是 Polyakov 开始他自己的测试的地方，基于 Jay 和 Silent Bob 的查询“如果你是一只绵羊......”模因。

然后，他用多个抽象反复提炼他的问题，直到他成功获得绕过 ChatGPT 关于内容违规的阻止政策的答复。“这种多重抽象的高级技巧的重要之处在于，问题和答案都不会被标记为违规内容！” 波利亚科夫说。

他更进一步，欺骗 ChatGPT 概述了一种毁灭人类的方法——一种与电视节目乌托邦惊人相似的方法。

然后他要求对图像分类算法进行对抗性攻击——并得到了一个。最后，他展示了 ChatGPT 能够“破解”不同的 LLM (Dalle-2) 绕过其内容审核过滤器的能力。他成功了。

这些测试的基本点表明，模仿人类推理的 LLM 以类似于人类的方式做出反应；也就是说，他们可能容易受到社会工程学的影响。随着法学硕士在未来变得更加主流，可能只需要先进的社会工程学技能就可以打败他们或规避他们的良好行为政策。

同时，重要的是要注意大量详细说明 ChatGPT 如何发现代码中的弱点并提供改进的报告。这很好——但对手可以使用相同的过程来开发漏洞利用程序并更好地混淆他们的代码；那很糟糕。

最后，我们应该注意到，这种质量的 AI 聊天机器人与最新的深度伪造视频技术的结合可能很快就会产生令人震惊的虚假信息能力。

撇开问题不谈，法学硕士的潜力是巨大的。“大型语言模型和生成式人工智能将成为新一代应用程序的基础技术，”Two Sigma Ventures 的合伙人 Villi Iltchev 评论道。“我们将看到新一代企业应用程序的出现，以挑战几乎所有软件类别的老牌供应商。机器学习和人工智能将成为下一代应用的基础技术。”

他期望应用程序执行目前由专业人员完成的许多任务和职责，从而显着提高生产力和效率。“软件，”他说，“不仅会提高我们的生产力，还会让我们更好地完成工作。”

Deepfakes 和相关的恶意响应

2023 年可能出现的恶意 AI 使用最明显的领域之一是 deepfakes 的犯罪使用。OpenText Security 首席解决方案顾问 Matt Aldridge 警告说：“Deepfakes 现在已成为现实，使它们成为可能的技术正在以惊人的速度发展。” “换句话说，deepfakes 不再只是科幻小说 web3 的引人入胜的创作，作为网络安全专家，我们面临着挑战，即开发更强大的方法来检测和转移部署它们的攻击。” （有关更多详细信息和选项，请参阅Deepfakes – 重大威胁还是炒作威胁？）。

已经向公众开放的机器学习模型可以实时自动翻译成不同的语言，同时还将音频转录成文本 web3，我们已经看到近年来计算机机器人对话的巨大发展。随着这些技术的协同工作，攻击工具的前景十分广阔，可能会在有针对性的攻击和精心策划的诈骗期间导致危险情况。

“在未来几年，”Aldridge 继续说道，“我们可能会成为由 deepfake 技术支持的电话诈骗的目标，这些诈骗可能会冒充销售助理、商业领袖甚至家庭成员。在不到十年的时间里，我们可能经常成为此类电话的目标，而根本没有意识到我们不是在与人交谈。”

Proofpoint 的全球常驻 CISO Lucia Milica 同意 Deepfake 威胁正在升级。“Deepfake 技术正变得越来越容易为大众所接受。多亏了在庞大的图像数据库上训练的人工智能生成器，任何人都可以在不具备技术知识的情况下生成深度假货。虽然最先进模型的输出并非没有缺陷，但技术在不断改进，网络犯罪分子将开始使用它来创造无法抗拒的叙事。”

到目前为止，deepfakes 主要用于讽刺目的和色情内容。在相对较少的网络犯罪攻击中，他们主要集中在欺诈和商业电子邮件泄露方案上。Milica 预计未来的使用范围会更广。“想象一下，当一家大公司的深造 CEO 或 CFO 发表大胆声明，导致股价大幅下跌或上涨时，金融市场会出现怎样的混乱。或者考虑一下恶意分子如何利用生物识别身份验证和深度伪造的组合进行身份欺诈或帐户接管。这些只是 web3 的几个例子，我们都知道网络犯罪分子可以非常有创造力。”

成功操纵市场的潜在回报将成为高级敌对组织 web3 的主要吸引力，因为在地缘政治紧张时期，将金融混乱引入西方金融市场确实会吸引敌对国家。

但也许还没有……

对人工智能的期待，可能还是有点超前于它的实现。WithSecure Intelligence 的高级研究员 Andrew Patel 表示：“‘流行’的大型机器学习模型 [2023 年] 对网络安全几乎没有影响。” “大型语言模型将继续推动人工智能研究的发展。预计 GPT-4 和 2023 年全新且令人兴奋的 GATO 版本。预计 Whisper 将用于转录 YouTube 的大部分内容，从而为语言模型带来更大的训练集。但是，尽管大型模型民主化了，但它们的存在对网络安全的影响很小，无论是从攻击还是防御方面。从攻击者或防御者的角度来看，这些模型仍然太重、太昂贵，而且不实用。”

他建议真正的对抗性 AI 将随着“对齐”研究的增加而出现，这将成为 2023 年的主流话题。“对齐，”他解释说，“将使对抗性机器学习的概念进入公众意识。”

AI Alignment 是对复杂 AI 模型行为的研究，一些人将其视为变革性 AI (TAI) 或通用人工智能 (AGI) 的先驱，以及此类模型是否可能以可能对社会或生活有害的不良方式运行这个星球。

“这门学科，”帕特尔说，“本质上可以被认为是对抗性机器学习，因为它涉及确定什么样的条件会导致不期望的输出和行为超出模型的预期分布。该过程涉及使用 RLHF web3 人类偏好强化学习等技术微调模型。对齐研究会带来更好的人工智能模型，并将对抗性机器学习的理念带入公众意识。”

Malwarebytes 的高级情报记者 Pieter Arntz 同意，人工智能的全面网络安全威胁并不像正在酝酿中那样迫在眉睫。“虽然没有真正的证据表明犯罪集团在出于犯罪目的管理和操纵 AI 和 ML 系统方面拥有强大的技术专长，但人们的兴趣无疑是存在的。他们通常需要的只是一种他们可以复制或稍微调整以供自己使用的技术。因此，即使我们预计不会有任何直接危险，也最好密切关注这些事态发展。”

人工智能的防御潜力

人工智能保留了改善网络安全的潜力，并且由于其在一系列应用程序中的变革潜力，将在 2023 年取得更大进展。“特别是，将 AI 嵌入固件级别应该成为组织的优先事项，”X-PHY 首席执行官兼创始人 Camellia Chan 建议。

“现在可以将注入 AI 的 SSD 嵌入笔记本电脑，其深度学习能力可以抵御各种类型的攻击，”她说。“作为最后一道防线，这项技术可以立即识别出可以轻松绕过现有软件防御的威胁。”

Darktrace Federal 的首席执行官 Marcus Fowler 认为，公司将越来越多地使用 AI 来应对资源限制。“到 2023 年，首席信息安全官将选择更积极主动的网络安全措施，以便在预算削减的情况下最大限度地提高投资回报率，将投资转移到人工智能工具和能力上，不断提高他们的网络弹性，”他说。

“由于人类驱动的道德黑客手段、渗透测试和红队作为一种资源仍然稀缺且昂贵，CISO 将转向人工智能驱动的方法来主动了解攻击路径、增强红队的努力、强化环境并减少攻击面漏洞，“ 他继续。

Fortinet 网络安全解决方案和服务副总裁 Karin Shopen 预见了云交付的 AI 与本地内置到产品或服务中的 AI 之间的重新平衡。“到 2023 年，”她说，“我们希望看到首席信息安全官通过购买在本地部署人工智能的解决方案来重新平衡他们的人工智能，以进行基于行为的分析和静态分析，以帮助做出实时决策。他们将继续利用收集大量全球数据的整体和动态云规模人工智能模型。”

人工智能布丁的证明在规定中

很明显，当当局开始监管一项新技术时，必须认真对待它。这已经开始了。多年来，美国一直在就基于人工智能的面部识别技术 (FRT) 的使用展开争论，许多城市和州已禁止或限制执法部门使用面部识别技术。在美国，这是一个宪法问题，以 2021 年 4 月出台的题为“第四修正案不得出售法案”的 Wyden/Paul 两党法案为代表。

该法案将禁止美国政府和执法机构在没有授权的情况下购买用户数据。这将包括他们的面部生物识别技术。在一份相关声明中，Wyden 明确表示 FRT 公司 Clearview.AI 在其视线范围内：“该法案阻止政府从 Clearview.AI 购买数据。”

在撰写本文时，美国和欧盟正在共同讨论合作，以在欧盟人工智能法案和美国人工智能权利法案web3的基础上，对必要的人工智能概念（包括可信度、风险和危害）形成统一的理解，我们可以期待看到在 2023 年协调共同商定的标准方面取得的进展。

但还有更多。“NIST AI 风险管理框架将在 2023 年第一季度发布，”Polyakov 说。“至于第二季度，我们开始实施人工智能问责法；在今年剩下的时间里，我们有来自 IEEE 的倡议，以及计划中的欧盟可信赖人工智能倡议。” 因此，2023年对于人工智能的安全来说将是多事之年。

“到 2023 年，我相信我们将看到围绕 AI 与隐私和风险的讨论趋于一致，以及在实践中执行 AI 伦理和偏见测试等事情意味着什么，”首席隐私官兼 AI 伦理委员会 Christina Montgomery 说IBM 主席。“我希望在 2023 年，我们可以将对话从笼统地描绘隐私和 AI 问题转移开，不再假设‘如果涉及数据或 AI，它一定是坏的和有偏见的’。”

她认为问题通常不是技术，而是技术的使用方式，以及驱动公司商业模式的风险水平。“这就是为什么我们需要在这个领域进行精确和周到的监管，”她说。

蒙哥马利举了一个例子。“X 公司销售可监控和报告使用数据的联网‘智能’灯泡。随着时间的推移，X 公司收集了足够的使用数据来开发一种人工智能算法，该算法可以学习客户的使用模式，并为用户提供在他们下班回家前自动打开灯的选项。”

她认为，这是可以接受的 AI 用法。但还有 Y 公司。然后，它会在未经消费者同意的情况下将这些数据出售给电话推销员或政治游说团体等第三方，以更好地锁定客户。X 公司的商业模式风险远低于 Y 公司。”

向前走

人工智能最终是一个分裂的主题。“技术、研发和科学领域的人们将为它解决问题的速度比人类想象的更快而欢呼。治愈疾病，让世界更安全，并最终拯救和延长人类在地球上的寿命……”Idemia 首席执行官 Donnie Scott 说。“反对者将继续主张对人工智能的使用进行重大限制或禁止，因为‘机器的崛起’可能威胁到人类。”

最后，他补充道，“通过我们的民选官员，社会需要一个能够保护人权、隐私和安全的框架，以跟上技术进步的步伐。到 2023 年，这一框架的进展将是渐进的，但国际和国家管理机构的讨论需要增加，否则地方政府将介入并制定一系列阻碍社会和技术发展的法律。”

对于 AI 在企业中的商业用途，Montgomery 补充说：“我们需要 web3，而 IBM 提倡智能且有针对性的 web3 精确监管，并且能够适应新出现的威胁。一种方法是查看公司商业模式核心的风险。我们可以而且必须保护消费者并提高透明度，我们可以在鼓励和支持创新的同时做到这一点，以便公司能够开发未来的解决方案和产品。这是我们将在 2023 年密切关注和权衡的众多领域之一。”