关于人工智能安全的文章太多了，所以我想清楚说明一下本篇文章的范围。我的目标是从元层角度（meta-level）来审视security for AI和AI in security，评估人工智能安全是否会像其他安全工具一样被采用，现在是否是构建人工智能安全平台的好时机，并推测那些融资数千万美元却没有多少付费客户的初创公司可能会做什么。此外，我还将分享一些围绕使用人工智能解决基本安全问题的想法。

本文并不是要提供一份可以用人工智能解决的具体安全问题清单，也不是对可能攻击或恶意使用 LLM所有方式的全面概述。已经有很多专家对这两个内容进行了论述，我认为不需要复述更聪明的人已经说过的话。

看看风投和创始人对保障AI安全有多兴奋

遵循保障其他技术安全中学到的模式

创业者们对人工智能在安全领域的应用感到非常兴奋，风险投资更是如此。虽然大部分投资资金都流向了模型层，但保障人工智能的安全领域，也有不少信徒。

乍一看，风险投资公司如此兴奋并没有什么意义。首先，网络安全初创公司往往会遇到先发劣势，因为如果一家公司要倡导一种新方法或保护一种新的攻击载体，就必须花费大量时间和金钱来教育市场。这一次似乎有所不同，因为每个人都在谈论人工智能，在 ChatGPT 问世仅一年多之后，美国和欧洲政府正试图为人工智能的使用设置警戒线，迄今为止取得了不同程度的成功。有了合适的团队，先发的劣势就会被先发的优势所掩盖，并有能力在这个新领域抢占先机。

在历史上，企业采用新技术后，安全性的采纳通常有三到五年的滞后期。这一循环一直在不同的框架和技术中重复出现。以云计算为例，企业在考虑采用云计算之前花费了许多年的时间（有些公司甚至直到今天仍然犹豫不决），而在采用的最初几年，很少有企业了解云安全的面貌以及应该关注的威胁类型。此外，早期参与者花费了十多年的时间，才使像Wiz和Orca这样的大型平台成为可能。Orca成立于2019年，Wiz则是在一年后。作为背景，这是自AWS在2004年推出首个面向公众使用的基础设施服务Simple Queue Service（SQS）以来，十五年以上的时间。即使是Lacework，另一家云安全的独角兽，也是在2015年成立，距AWS于2004年推出过去了十一年。

我之前讨论过 Wiz 和 Orca 能够如此迅速地建立大型平台的原因。概括起来，有两个因素使之成为可能：

由于云被设计为可无限扩展且 API 优先，因此云提供商构建了强大的 API。这使得一家公司就能实现大部分逻辑，并构建云安全所需的大部分组件。每个云提供商--AWS、Azure、GCP、Digital Ocean 等--都有提取数据的能力，因此云安全厂商只需要一种方法，将其规范为通用格式，并在不同平台间映射类似的概念。

当云安全成为一种需求时，大多数概念，从资产管理到漏洞管理、检测与响应、一切皆代码等都已深入人心。这意味着，云安全公司的创始人能够快速行动，实施已经为其他资产类别构建的内容。

在安全领域有一个众所周知的游戏规则，云安全就是一个典型例子：

一种新技术出现了。起初，企业对是否采用新技术犹豫不决，需要几年时间才能有足够数量的企业愿意尝试新技术；
随着新技术的实施，企业对其影响业务运营的潜力持乐观态度。安全问题并不是主要关注点之一，这并不是因为企业不在乎，而是因为不清楚实际风险是什么；
随着时间的推移，安全问题显然是一个真正令人担忧的问题。坏人会发现并利用新技术中的漏洞，而承诺解决这些问题的安全产品也会出现；
随着市场的成熟，购买者对需要购买大量安全工具来处理单一攻击越来越感到沮丧，于是出现了一个平台型企业，将所需的功能统一在一个平台中。

创建人工智能安全平台的机遇

如果人工智能的应用轨迹与云计算的应用轨迹相同，那么第一代人工智能安全公司将不会创造最大价值，这是合乎逻辑的。大多数企业需要几年时间才能适应人工智能的发展。在此期间，会出现大量的单点解决方案，而在未来五年左右的某个时间里，随着我们对保障人工智能安全所需做的事情有了更深入的了解，会出现一个具有强大愿景的平台型企业，并将大量互不关联的安全解决方案统一起来。

我认为这种情景相当合乎逻辑、直观且表达得很清晰。唯一的挑战是，目前的 LLM 已经打破了我们对采用安全工具的所有认识。

一周之内，全世界都熟悉了这项新技术、它的潜力以及它能带来的机遇。这与云技术的推出及其为获得主流理解和接受所需的宣传不同；
虽然企业确实对人工智能的进步犹豫不决，但员工却不会等待企业的许可。很大一部分人开始依赖 ChatGPT 来帮助他们完成工作，无论是起草电子邮件、总结研究成果还是编写软件。有了云，开发人员不可能不经过公司的一致努力就开始使用 AWS，将公司的基础设施转移到云上；而有了人工智能，每个人都能自己做出决定；
尽管我们仍然不知道应该防范哪些针对人工智能的攻击，而且绝大多数威胁都是理论上的，但我们已经看到了可能出现的早期迹象。我们已经看到prompt注入攻击的行动，我们已经看到公司泄露敏感数据，以及其他一些野生问题；
各国政府已经开始关注人工智能和国家安全问题。此外，安全团队知道人工智能有可能重新定义我们从事安全的方式，因此也很高兴关注这一领域的发展。

所有这一切，都解释了为什么风险投资对人工智能安全如此感兴趣的主要原因：他们认为确保人工智能安全是创建平台的下一个重大机遇。最大的顶级风险投资公司之一光速（Lightspeed）在其博文《确保人工智能安全是下一个重大平台机遇 Securing AI Is The Next Big Platform Opportunity》中如是解释：

“每项新技术都为创新和积极变革带来了巨大机遇；生成式人工智能可能就是这方面最典型的例子。但是，每一次技术的阶跃式功能变化--例如人工智能这种新构件的出现--都会带来一系列新的安全挑战。我们以前见过这种情况：SaaS 的兴起催生了 CASB和云安全公司，如Netskope和Zscaler。公有云的兴起催生了 Wiz 等 CSPM公司。人工智能的日益普及也带来了类似的机遇：我们预计将有一类新的平台崛起，以确保人工智能的安全。

在我们最近于纽约举办的一次CIO活动中，有大约 200 名 IT 决策者出席。当被问及他们是否阻止了 ChatGPT 的访问时，很多人都举起了手。这表明，与一年前相比，网络安全和人工智能的交叉点已经迅速成为 IT 领导者的首要关注点，而一年前，ML 模型安全还仅仅只是一个技术领域。”

在他们的文章中，Guru Chahal和Nnamdi Iregbulem提出了令人信服的观点，解释了为什么人工智能为新平台的创建提供了机会，人工智能中的一些攻击载体是什么样的，以及创始人在考虑构建人工智能安全领域时应该问哪些问题。在这一点上，许多风险投资机构都创建了一些以人工智能为主题的内容，以表明他们已经准备好谈论人工智能。

构建一个专注于AI安全的平台，即便不了解一年后AI基础架构会是什么样子

从历史上看，当安全公司开始受到关注时，他们承诺保护的基础架构或多或少已经稳定。在微软 Windows 成为个人工作站的标准配置之后，端点安全作为一个重点领域早已出现。同样，当 AWS 已经成为领先的供应商时，云安全也开始出现（尽管谷歌和微软很快就推出了自己的产品）。

关于保护人工智能，比较有趣的是，我们似乎试图在了解 "AI"是什么之前，就想要弄清楚如何确保其安全，例如：

目前还不清楚谁将成为人工智能领域的赢家。OpenAI 无疑是当今最大、最有前途的公司，但还有许多其他公司，如 Anthropic 和 Inflection，以及开源模型和一长串正在构建自己的人工智能模型、基础设施和工具的其他公司。

我们不知道像 OpenAI 这样的公司能在多大程度上解决安全问题。它们是否会采取与云提供商类似的责任分担模式？或者，它们会将自己嵌入得更深，作为核心产品的一部分提供所有所需的安全功能，从而在竞争中脱颖而出，加快企业应用？尤其是OpenAI 团队，已经迅速了解了企业的需求。由于安全性、信任和安全是企业采用人工智能的一些关键要求，因此，核心安全功能将在多大程度上内置于AI基础设施中，以及哪些功能需要外部参与者在其上进行分层，还有待观察。

这些只是问题的一部分，还有更多问题。当前正在建立的AI安全公司将经历一次过山车之旅。从根本上说，他们有两条路可走：选择一个他们相信的未来愿景，并为这一愿景而建设；或者设计一个非常灵活的解决方案，无论未来如何发展，其价值都将保持强劲。

第一条路是一场赌博，既可能带来巨大收益，也可能导致彻底失败。想象一下，你是2005 年一家安全初创公司的创始人，你需要决定从哪个平台开始：SoftLayer Technologies 还是 AWS。在 2005 年，这个选择很棘手：比如，你知道初创公司往往能够在大型企业的倡议中取得竞争优势，所以你选择了 SoftLayer。现在，快进到 2013 年，SoftLayer变成了IBM Cloud，你现在知道，你的公司注定要失败。或者，假设你相信成立于2012年的DigitalOcean会以某种方式成为第一，并将赌注压在了它身上；如果你真的这么做了，你现在可能已经倒闭了。据报道，如今，DigitalOcean拥有约2%的云计算市场份额。

第二条路，即设计一种非常灵活的解决方案，无论未来如何发展，其价值都将保持强劲。这在理论上听起来很不错，但它仍然只是一种理论。如果你认为我们可以直接问麦肯锡，未来会发生什么，那么这里有一个故事供你思考。"20 世纪 80 年代初，AT&T请麦肯锡公司估算世纪之交全球将有多少部移动电话投入使用。咨询公司注意到了新设备存在的所有问题--手机笨重得离谱、电池老是用不完、覆盖范围零散、每分钟费用高昂--并得出结论，市场总量大约为 90 万部。当时，这说服了 AT&T 退出市场，尽管它后来改变了主意"。- 资料来源：《The Economist》。我们现在知道，"世纪之交全球将有多少部手机在使用？"这个问题的正确答案并不是 90 万部（仅 2000 年一年，全球就售出了 4.05 亿部手机）。我讲这个故事并不是要向麦肯锡公司或其他咨询公司落井下石，而是想说明，人类在估计和预测未来方面，一般都很糟糕。

我们为何看到人工智能安全企业大量融资

融资轮次曾经是有意义的。通常的种子轮、种子轮、A 轮和其他轮次的构成数字，虽然因经济和地域的不同而不同，但里程碑的概念通常是成立的：

Pre-seed期融资为初创企业提供足够的资金，以验证problem-solution fit，并投资开发早期版本的产品。
种子轮通常是初创公司在产品开发上投入更多资金的时候，从测试版到全面上市。更重要的是，种子轮投资用于寻找product-market fit，并确定对公司最有意义的GTM模式。这样做的目的是找到一个能使公司扩大规模的GTM方案。
A 轮融资用于扩大公司规模、验证business model fit以及制定可持续的市场推广计划。B 轮及以后的融资可帮助创始人加速发展，尽快占领尽可能多的市场。

一轮融资背后的初衷很简单。初创企业风险很大，只有部分企业会成功。投资者不会在早期提供大量资金，然后看着大多数公司走下坡路，而是分阶段向创始人提供资金，期望他们在进入下一阶段之前达到不同的里程碑。在早期，相关的指标并不明确--可能是收入，也可能是产品注册量、意向书、GitHub星数以及其他任何可以用来证明公司发展的指标。随着公司的发展，唯一重要的数字就是收入和增长率。

当市场火热时，风险投资公司希望在提供更多资金之前降低创新风险并寻找里程碑的愿望就会破灭。如今的人工智能安全正是这样的市场：公司可以在几个月内，在不显示任何实际收入的情况下，从种子期到A轮融资。

创始人和投资者都有理由忘记融资的阶段性，并进行这些交易，让那些拥有早期产品且没有实质性收入数字的公司获得 5000 万到 1 亿美元的融资。创始人正在寻找建立人工智能安全平台的机会。他们知道，一旦市场降温，风险投资公司意识到不可能有 50 多个 "平台 "出现，融资就会变得更加困难。他们还知道，没有人能预测整个人工智能安全之旅将如何展开，以及客户开始采用人工智能安全工具并为其付费需要多长时间。不过，聪明的创始人能够预见到的是，获得几年的发展期将为他们提供足够的时间来解决问题。面临的挑战是，银行账户里有大笔资金往往会宠坏初创企业，鼓励他们花更多的钱，结果增加了稀释，使他们更难找到产品与市场的契合点。另一方面，投资者则看到了创建平台的机会。鉴于人工智能将决定我们未来的发展方向，并将融入我们所依赖的每一件工具，确保人工智能安全的回报将是巨大的。人工智能安全领域的机遇可能如此之大，以至于1亿美元一轮的投资虽然看起来很多，但其实微不足道。

并不是所有的投资者都急于在人工智能安全领域投入巨资，也远非所有投资者都真正了解人工智能可能带来的真正影响。尽管几乎每个人都宣称对人工智能感兴趣，但大多数风险投资人还处于学习阶段，而不是开支票阶段。他们很乐意与创始人和领域专家通话，以尽可能多地吸收知识，但还没有准备好进行尽职调查，这是有原因的：目前，人们还不清楚LLM是否可以货币化，也不清楚LLM领域的公司可以围绕其产品建立怎样的护城河。正如一段嘲讽风险投资人炒作LLM的有趣视频所指出的："这就是生成式人工智能的特点，它总是能产生新的想法......但它并不能产生任何收入。"

看看风投和创始人对AI在安全领域的应用有多兴奋

利用人工智能解决基本安全问题

更让我对 LLM 感到兴奋的是，我们有机会利用人工智能的进步，来解决基本的安全问题。一些初创公司如何利用人工智能解决难题的例子比比皆是；以下是我个人熟悉的几个例子。

利用LLM的最明显的第一步，是找到方法来增强安全团队。Dropzone AI 模仿精英分析师的技术，自主调查每一个警报，无需操作手册或代码。以下是公司网站对工作流程的描述：“在接收到警报后，Dropzone 连接并在碎片化的安全工具和数据堆栈中进行操作。它不知疲倦地查找、获取并将相关信息提供给其基于LLM的系统。Dropzone 的网络安全推理系统是专为先进的LLM而构建的，为每个警报定制了全面的端到端调查。其安全性预训练、组织上下文理解和防护措施使其具有高度的准确性。然后，Dropzone 生成完整的报告，包括结论、执行摘要和用通俗易懂文字表述的全面见解。您还可以与其聊天机器人进行临时查询。”

另一家解决 SOC 问题的初创公司是 Salem Cyber。该公司的产品利用人工智能支持软件，自动调查安全团队现有检测工具产生的所有网络警报。他们利用客户环境中的现有工具，只将真正的威胁升级。其核心理念是，检测技术会产生大量应该调查的网络警报，但真正重要的只有少数几个。Salem Cyber 认为自己的使命是帮助安全团队专注于重要的事情。

安全运营中心并不是自主人工智能代理能够改变安全团队工作方式的唯一场所。例如，Nullify 正致力于从最初的原则出发，重新构想产品安全，让每个工程团队都能获得世界一流的安全开发专业知识。这意味着要增强安全工程师的能力，完成以前必须由人类完成的任务。这与“copilots”有很大区别，后者主要依靠问答式互动来实现可能耗时的结果，而他们的目标是让Nullify作为安全团队的“agent”运作，就像安全团队可能从外包或咨询公司获得人员扩充一样。

这两家公司都不认为他们的目标是取代人力。相反，他们认识到：1）安全分析师和工程师目前所做的大量人工任务可以而且应该实现自动化；2）无力聘请安全分析师和工程师的公司仍然需要有人来做安全工作。

服务领域正在发生许多有趣的创新。AirMDR 提出了一种新的MDR方法，由一位虚拟分析员驱动，能够通过结合人工智能、自动化和几十年的人类网络安全专业知识来处理安全运营中80-90%的任务。我认为AirMDR的方法特别有前景，因为人工智能，尤其是LLM，有潜力自动执行安全的繁琐部分，为客户提供服务提供商工作的透明度，并且最重要的是，使服务提供商摆脱线性经济的扩展。如果服务提供商不再被迫线性扩展他们的团队，就会创造出更高的利润、更高的退出倍数，随之而来的是服务提供商的新时代。另一方面，鉴于产品和服务之间的交织，AI和LLM也完全有可能使产品公司基于这些环境中的上下文为个别客户构建定制的检测方法，并且拥有可以与客户互动的聊天系统可以解决大型供应商的响应问题。无论发生什么，我相信在安全领域产品和服务之间的界限将继续模糊。

人工智能的进步带来了许许多多的想法和方法，而这些想法和方法在一两年前是不可能实现的。每个月，我都会遇到一些聪明、雄心勃勃的创始人，他们希望在这个行业有所作为，并选择机器学习、AI和LLM作为实现目标的途径。例如，Joshua Neil 和团队正在另辟蹊径，将安全、数据科学和人工智能结合起来，帮助企业实现安全成果。而且，StackAware已经成为应对人工智能安全风险最活跃的服务提供商之一。

说到基础安全问题，我认为客户需要的不是AI，而是能够很好地解决他们问题的工具。这里的关键是 "足够好"。虽然许多创始人对检测准确率提高0.001%感到兴奋，但大多数买家并不具备评估此类改进的工具，也没有复杂到有此需要，而且他们仍在努力解决资产发现、打补丁、漏洞管理和其他基本问题，会质疑这些问题为何重要也没错。由此可见，如果客户得到的只是 5-10% 的能力提升，他们就不会从“老一代”工具转向“人工智能”工具。新技术必须有实质性的改进，买家才会考虑更换。

对AI在安全领域的应用及其如何重塑市场保持实事求是

在AI促进安全的背景下，安全领导者和从业人员理所当然地对AI的进步如何帮助解决行业中的许多基础问题感到兴奋。尽管如此，我们需要记住，生成式人工智能并不是解决所有安全和业务问题的灵丹妙药。

正如 Salem Cyber 创始人兼CEO Jon Bagg 在一次聊天中正确指出的那样，目前的LLM 有三个主要缺点：推理成本、推理速度和推理不完善。人工生成的聊天是这项技术的潜在应用之一，对这三个问题最不敏感。这是因为：

聊天工具可以逐字发布回复，让人们在模型工作时阅读。这种流程以及人类处理新信息的速度比机器慢这一事实创造了自然缓冲，掩盖了 ChatGPT 可能需要一段时间才能写出回复的事实。

聊天格式还能解决成本问题，因为人们需要阅读并思考回复后再提交新的查询。如果没有一个自然的门控功能，并发请求的数量可能会过高，这将使使用该模型的成本高得离谱。

与生成文本互动的人属于 "知识工作者"。他们在收集不完善的信息、评估信息、比较不同来源的信息并找出最合理的信息方面有着丰富的经验。因为他们已经习惯了信息通常是不完整和不完美的，所以对于他们来说，ChatGPT 的推理漏洞问题不大。

ChatGPT 是一个很容易放在 LLM 上的应用程序，因为它对模型的基本问题不敏感。一旦我们将当前状态下的 LLM 带入安全领域，突然之间，这些限制和其他限制就会成为人们希望 LLM 能够实现的某些想法的障碍。

从根本上说，AI能解决和不能解决的问题是存在的；在它能解决的问题中，有些问题最适合由LLM解决，有些问题则适合由其他AI技术解决。随着LLM的发展，市场将决定其在安全领域应用的相对价值，以及客户愿意为其提供的优势支付多少费用。

AI模型需要大量数据，而这些数据并不便宜。看来，要想从LLM中获益，问题必须足够大、足够痛苦，才能迫使人们依赖AI。以事件响应为例：如今，事件响应发生的频率很低，用人工智能来解决它的唯一好处就是可以“轻松”地触发自动化按钮。事件响应存在速度问题（需要快速发生），但不存在数量问题（不经常发生）。网络钓鱼是一个例外。如果安全团队每天只需要应对一次网络钓鱼尝试，那么网络钓鱼就很可能不会成为一个需要自动化处理的问题。由于电子邮件的数量如此之大，除了使用人工智能之外别无他法。没有一个安全团队能够负担得起雇佣数百名分析师来人工审核所有收到的电子邮件，而且是实时审核，同时不影响员工的工作。

人工智能最能解决的问题是速度和规模都受到限制的问题。对大量的洞察和检测进行分流，以决定需要对哪些洞察和检测做出响应，或者对数百万行代码进行审查，并对漏洞和不安全的代码执行提出修复建议，这些都是非常适合人工智能解决的问题。另一种特别适合LLM 的问题是需要决策者分析大量信息、开展调查、总结发现并为决策提供正确背景的问题。

在短期内，LLM在网络安全领域的一些最常见应用可能会围绕总结、推荐和帮助人们完成工作展开，例如撰写报告、起草搜索查询和编写代码样本。更大规模的自动化可能是下一步的目标，但为此，我们可能需要为人工智能优先的世界构建新一代的解决方案。目前，我们受到现有工具和基础设施的限制。例如，Splunk查询必须准确无误才能正常工作并正确返回数据。推理中的任何漏洞都会破坏 Splunk 返回有用数据的能力，从而影响安全团队对自动化的信任程度。同样值得注意的是，大规模运行LLM的成本并不低。微软Copilot就是一个很好的例子，每个用户每月支付30美元，而且只提供给拥有300名以上员工的企业E3客户。

我们今天所面临的许多问题，都无法通过在根本不安全、设计拙劣的基础设施上再叠加一个 SaaS工具或AI模型来解决。此外，许多网络安全产品类别从根本上说只是一些功能，应该作为更大平台的一部分存在。由AI驱动这些功能并不能改变这一现实。最后，AI不会神奇地带来产品与市场的契合，也不会让网络安全初创企业扩大规模。客户追求的是结果，而不是具体的技术。当每个安全产品都依赖于AI的某些元素时，它在多大程度上利用了AI技术就不重要了；唯一重要的是解决方案产生的结果。

预测AI赋能安全领域现有企业和初创企业之间的激烈竞争

我曾听到一些人坚信，由于微软、Palo Alto、Snyk和CrowdStrike等公司积累了大量数据，它们必然会在人工智能时代胜出。现实情况要复杂得多。

与新进入者相比，现有公司确实有一些优势。首先，培训模式的成本很高，如果初创企业都试图建立自己的模式，就会烧掉大量资金，造成过多的稀释。而大公司则有大把的钱可以花。此外，训练需要大量数据，而初创企业并不具备这些数据。仅根据公共数据训练的模型用途有限，因为业内任何人都可以获得相同的数据；竞争优势将来自于根据客户环境中的专有实时数据训练模型。最后，成熟的供应商已经建立了稳固的分销渠道，这在网络安全领域比什么都重要。这将使他们能够将任何新工具插入现有的分销网络，然后开始销售。

另一方面，我们需要谨慎行事，不要落入陷阱，以为当今最大的安全厂商一定能在新的人工智能世界中获胜。当大型基础设施发生转变时，那些根深蒂固于以往产品构建方式的现有厂商不可能轻易转变其技术堆栈和业务模式，以适应新的现实。这就是为什么许多在内部部署环境中占主导地位的网络安全公司未能适应云原生环境的原因。由此可见，在陈旧的技术堆栈上叠加一个辅助聊天机器人并不等同于建立人工智能优先的公司。在我看来，security copilots是LLM所能实现的最低级、最基本的示例。这就好比使用谷歌只是为了搜索“维基百科”：它仍然有用，但只是谷歌能力的一个小例子。

LLM将高度重视良好用户体验的重要性。大公司拥有大量数据，但它们的产品往往用户体验不佳，而且由传统堆栈驱动，这将制约它们充分发挥人工智能潜力的能力。在人工智能为先的新世界里，很多战斗都将在用户体验和技术灵活性领域展开，而这正是初创企业蓬勃发展的地方。

这两种看待同一问题的方式凸显了一个简单的事实，那就是现在还为时尚早，我们无法判断这两种情况或任何其他情况中哪一种更有可能发生。投资者们都在赌初创企业胜过现有企业，因此他们看好愿意下注并实现自己世界愿景的雄心勃勃的创始人，也就不足为奇了。

对于安全公司来说，AI不是新工具，保护AI也不是新问题

重要的是要记住，人工智能不是安全领域的新事物，确保人工智能安全也不是新问题。

机器学习ML是人工智能的一个子集，它使机器或系统能够从经验中学习和改进。自2010 年代初以来，网络安全就一直在利用ML。现在已成为黑莓一部分的Cylance和Darktrace是最早采用人工智能的公司，后者的大部分市场推广活动都围绕着“世界领先的网络人工智能”这一信息展开。Abnormal是人工智能在网络安全领域更有趣的应用实例。该公司发现了每个安全团队都在努力解决的一个问题，并利用机器学习很好地解决了这个问题。这使得 Abnormal成为电子邮件安全市场的领导者之一。

由于AI在安全领域的应用并不新鲜，我们有幸积累了一些经验。首先，我们知道安全团队不喜欢黑箱算法。安全从业人员希望了解产品为什么会做出这样的决定，以及产品在判定某种行为可疑时考虑了哪些标准。其次，我们了解到，安全团队不愿意将响应控制权下放给安全产品。事件响应在很大程度上依赖于上下文：不能因为端点上的某些行为看起来可疑，就立即将该机器与网络隔离，而不进行额外的调查和研究更广泛的上下文。端点可能是每分钟处理数百万美元的关键服务器，而一小时的停机时间可能导致数亿美元的收入损失。另一个教训来自开发人员工具领域：当软件开发人员编写代码时，他们不希望看到一个恼人的类似于 Clippy 的建议框，告诉他们如何使代码更安全。这些只是其中的几个亮点；在这一行业从业时间足够长的人肯定可以分享更多。

人工智能作为攻击载体也并非全新事物。公司一直在使用机器学习来决定在华尔街执行哪些交易，裁定信贷申请，以及检测 MRI、CAT和X光扫描中的异常情况，等等。随着LLM的兴起，攻击面正在迅速扩大，超越了机器学习、计算机视觉等领域，但我们应该已经掌握了大量关于确保算法和ML模型安全的知识。

当今最大的问题，是AI教育

当今最大的挑战是有关人工智能、其工作原理及其风险的教育；生成式人工智能和大型语言模型LLM尤其如此。

云安全联盟人工智能安全倡议主席Caleb Sima在 Matthew Chiodi的“今日云安全”播客中解释道：

“如今，你听到的最大担忧是 CISO 关闭对 OpenAI 的访问权限并完全封锁它，禁止所有员工使用 ChatGPT。为什么呢？因为担心他们会把所有这些机密数据塞进 OpenAI，并对这些数据提出问题。然后，这些数据就会进入 Open AI，而 Open AI 会在其训练模型中重新使用这些数据，这样，一些攻击者就可以通过 LLM 将公司数据提取出来。这就是我们所担心的。对于这件事，我绝对认为风险很低。LLM 并不是这样工作的。很多人认为它就像一个数据存储：你把一堆训练数据扔进一个数据存储，然后你进行[聊天]，它就会直接从存储中提取数据并输出。LLM 不是这样工作的。它们是生成器，通过预测工作。预测的是下一个单词后面最有可能出现的单词”。

由于不清楚哪些风险是真实的，哪些风险是不可能的、高度理论化的或极不现实的，客户很难掌握他们应该采取哪些控制措施。这种知识差距将直接影响安全产品的采用。我预计，与采用云技术的情况类似，大多数公司在开始建立自己的人工智能模型之前也需要时间。尽管围绕企业采用人工智能的所有挑战最终都必须得到解决，但合规性几乎不可避免地将是首先要解决的问题。如今，越来越多的法规已经清楚地表明，企业在对新技术有足够的了解，并为其设置实际的防御和防护措施之前，就必须勾选方框，并证明自己符合不断扩大的合规要求。

结语

在安全背景下审视人工智能时，必须牢记两个角度：AI for security, 和security for AI。说到security for AI，人工智能的安全性，我们必须承认，时至今日，我们仍在等待AI基础设施坚实基座的出现。创新的速度是惊人的：我们认为，可能实现的基本要素每天都在发生变化。说到AI for security，利用人工智能解决基本安全问题，我们感到兴奋是正确的。然而，我们要知道，AI和LLM并不是解决所有安全问题的灵丹妙药。请记住，当我们只有一把锤子时，一切看起来都像钉子。好消息是，除了LLM之外，我们的工具箱中还收纳了大量工具，因此，在我们构建未来安全的过程中，一定要牢记这一点。

作为人类，我们往往会高估新技术的短期影响，而低估它的长期影响。我认为，要充分发挥人工智能的潜力，我们需要解放思想，从大处着眼，比copilots更重要，当然也比使用LLM 为我们的传统解决方案生成搜索查询更重要。

原文连接：

https://ventureinsecurity.net/p/its-complicated-wrapping-up-a-year