网络安全不是残次品，而是银弹市场！

《银弹市场》中提到：你想造一个盒子，上面装一盏灯。当你带着这个盒子进入一个有独角兽的房间时，灯就会熄灭。你怎么证明它能起作用呢？

这句话很有趣，它强调了测试安全解决方案的不可能性。这就是安全的真正悲剧－－没有一个有效的方法来区分到底是因为能力不足导致安全问题发生，还是运气。如果企业至今为止没有被网络攻击，是因为人员、流程和工具都很有效且尽职尽责？还是因为运气好？

几乎每天都会有数十家不同的供应商找到CISO，声称他们已经找到了一种方法，可以防止“非常重要”的新型攻击，但由于这家特定的初创公司开发出了某种“秘方”，因此其他人无法同样有效地检测到这些攻击。供应商把自己的解决方案说成是可以解决所有网络安全问题的神奇工具－－就像一颗银弹，可以对付狼人、吸血鬼、女巫或其他超自然生物。

CISO们购买了这些工具，将它们部署到自己的环境中，然后就会产生这样的疑问：如果产品没有发出任何警报，这是否意味着没有人在使用这种新的高级攻击载体来攻击公司，还是这种工具根本就不起作用？

在《银弹市场》一书中，Ian将防盗报警器测试与安全工具测试相提并论，认为“在安全业务中，攻击者不是我们测试程序的一方。尽管攻击者在游戏中扮演角色，但他也是积极的一方；他不是一个没有偏见、以规则为基础、允许自己遵循统计模式的代理人。他蓄意破坏我们的安全，并打算造成我们希望避免的损失。因此，他对我们的努力不以为然，并寻找其中的漏洞；我们输了，他就赢了。一个窃贼进行的任何测试都不可能发现所有这些漏洞，因此，即使是真正的盗窃也不能很好地预测任何其他具有明显特征的事件”。

Ian的文章发表至今已超过 15 年，但我们仍未找到测试网络安全产品的好方法，这并不是因为我们没有尝试。Venture in Security 曾讨论过从以承诺为基础的安全向以证据为基础的安全转变的必要性，但事实是，这种转变比许多人希望的要慢得多。 

值得称赞的是，作为一个行业，我们提出了 MITRE ATT&CK 框架，并通过 Atomic Red Team 和 Prelude 等工具将其付诸实施。我们已经找到了比较不同工具的方法，尽管还不是很完善。然而，这些进步大多并不持久，因为存在所谓的古德哈特定律（Goodhart's law），即一旦你发布了一个指标，它就不再是一个好指标，因为每个人都会试图优化该指标（或模糊该指标，取决于你如何看待它）。现在，供应商可以优化他们的工具，使其在此类测试中表现更佳，而无需提高工具的整体功效/效率。

我们甚至设计了诸如漏洞和攻击模拟、攻防对抗和渗透测试等产品类别，试图找到测试安全覆盖范围的方法。然而，尽管做了这么多努力，还是没有可靠的方法来验证一家供应商的安全覆盖率是否优于另一家，因为根本无法模拟绕过组织防御的所有可能方式。就其本质而言，攻击者具有创造性，并有强烈的成功动机，他们会找到阻力最小的途径（比渗透测试人员和漏洞及攻击模拟工具要强得多）。

Ian在他的文章中列举了一些人的观点，这些观点清楚地表明，买家在做出购买决定时缺乏信息。一位网络安全从业者表示：“……经理们经常购买他们明知是次品甚至是次品，但来自大牌供应商的产品和服务。众所周知，这样做可以最大限度地减少出问题时被解雇的可能性。公司律师并不谴责这种做法是欺诈，而是称赞其为‘尽职调查’。”

另一位律师表示：“我参加安全会议时，大家都围坐在一起，苦苦思索用什么样的指标来衡量安全计划的成果”。多年前写下的这些话，今天依然适用。尽管我们经历了种种挫折、讨论，并下定决心寻找答案，但事实却没有发生什么变化，这既令人困惑，又令人悲哀。

我们不仅缺乏信息来做出明智的购买决策，而且还在努力建立可靠的衡量标准来证明安全投资的合理性。一个工具产生更多的 “发现 ”是好事还是坏事？刚刚投资新工具的公司是否比以前更安全？这些是否有切实的依据，还是只是在猜测。量化网络风险的尝试是可信的，但就目前而言，这些尝试的科学终点在哪里，起点在哪里，往往很难说清楚。

卖方比买方更了解所售产品或服务质量的市场通常被称为柠檬市场。在George A. Akerlof和Joseph E. Stiglitz因建立了信息不对称市场理论而获得诺贝尔经济学奖后，这个词开始流行起来。2007 年，Bruce Schneier写了一篇题为“柠檬的安全市场”的文章，认为网络安全就是这样一个市场的完美范例。这一论点得到了广泛传播，自此以后，许多其他人也在集体思考中加入了自己的观点。

虽然我们很容易认为存在某种阴谋，即安全厂商故意向CISO和从业人员隐瞒信息，但事实可能并非如此。如果卖方比买方更不了解他们所销售的产品呢？在《银弹市场》一书中，Ian认为“买方缺乏信息就意味着卖方掌握了信息，这是逻辑上的失败。如果卖家确实是出于更微妙和更具战略性的目的而兜售被贴上安全标签的商品，那么他们就没有必要比买家更了解安全。”

Ian的结论是，在网络安全领域不存在不对称，因为买卖双方都没有足够的信息可用，任何一方获取知识的成本都太高。“任何一方的努力都可能使他们比另一方知道得更多，但即使是合理的努力也会使双方缺乏足够的信息来做出理性的决定。”

虽然很多人不愿意接受这样的观点，即买卖双方都不知道如何解决安全漏洞问题，但这可能是我们所看到的情况的唯一合理解释。每个人都在尽自己最大的努力，因为他们知道，无论他们如何努力，都不可能有确定的结果。

如果安全不是柠檬市场，那么它是什么？那就是银弹市场。正如Ian在其发人深省的文章中所解释的那样：“银弹是软件工程领域的一个术语，指的是在没有任何逻辑或理性手段支持的情况下，将产品或流程说成是有效的。银弹是在信息不充分的市场上交易的商品。它们与柠檬和酸橙的对角线（信息不对称）一起，构成了信息不完善的市场。”他表示，买方没有很好的检验标准来确认卖方的真实性，因此无法事先经济地确定商品是否满足需要。卖方也缺乏这种信息，因为他对攻击者没有优势。

下面的图片说明了四种市场类型的区别，它们是根据获取信息的渠道来定义的：

四种市场类别

由于网络安全是一个银弹市场，买卖双方都无法自信地评估安全解决方案。行业参与者不得不主要根据其他因素做出决策，这些因素可能与工具实现安全成果的能力密切相关，也可能不相关。以下是一些安全买家和其他市场参与者经常使用的信号，以了解应该信任谁：

Venture in Security 曾讨论过，在网络安全领域，信任因素和信任时间在购买过程中起着至关重要的作用。对于CISO和安全从业人员来说，公司可信和值得关注的间接信号要比产品本身的营销重要得多。如果客户购买的是一种承诺，那么做出这种承诺的人（或公司）的声誉比其承诺的内容更重要。

行业分析公司就是一个很好的例子，由于双方都缺乏信息，它们在行业中拥有巨大的影响力。分析师公司进行信息套利：他们与客户和供应商交谈，收集市场上的其他信号，并向买卖双方出售他们的综合建议。特别有趣的是，分析师本身对安全的看法也很有限：他们看到的是趋势和类别，但没有任何一家公司会建议一家供应商比另一家供应商有更大的机会阻止漏洞。在缺乏安全相关信号的情况下，分析公司想出了自己的办法，将卖家分门别类。

就拿上面这些图表来说，如果我们将安全厂商与它们进行对比，那么这两张图都不会提供任何有用的信息，让我们了解哪家厂商更有可能使公司更加安全。重要的是，它们甚至都没有试图这样做：而是专注于一般的、以市场为重点的特征。这就像是比较两颗银弹，说一颗更重，另一颗设计得更好。虽然这些信息也同样重要，但如果我们想知道哪颗银弹更有可能阻止吸血鬼，这些信息绝对是不够的。我们已经学会了解读分析公司发出的信号，并将其用于购买决策，尽管他们用来评估安全工具的标准与安全没有多大关系。

在一篇关于安全“银弹”的文章中，如果没有提到人工智能，那将毫无意义。

人工智能是一个非常热门的银弹。无论是自动化SOC、自动修复代码中的安全漏洞，还是改进云安全，它都被誉为能够提高任何安全工具有效性的“秘方”。如今，初创企业如果不提及人工智能的使用，就不会获得融资。

然而，人工智能是一个完美的银弹例子，它突出了Ian原文中的关键主题：为这些初创公司提供资金的风险投资人并不真正了解人工智能是否在发挥作用/增加价值。创始人要么在积极尝试利用人工智能，要么在投资者的鼓励下使用人工智能。客户没有有效的方法来验证 “人工智能”网络供应商是否比“非人工智能”解决方案更有效。

在大多数情况下，人工智能只是一个流行词，没有任何实际意义。很少有研究论文真正指出人工智能在解决安全问题方面的无效性。David Wagner 等人最近发表了一篇题为“利用代码语言模型进行漏洞检测：How Far Are We？”一文中，作者对最先进的 LLM（如 GPT-4）是否能有效检测代码中的漏洞进行了公正地分析。答案很简单——不能。结论指出，目前的 LLM 离有效解决这一问题还相差甚远，需要做大量工作。遗憾的是，这种对各种解决方案进行公正客观评估的情况并不多见。

Ian的研究论文得出的结论是：“安全措施选择的变化发生得很慢，而且一旦发生，往往会在整个社区迅速产生连锁反应。”换句话说，安全团队需要很长时间才能采用新的解决方案，但一旦达到一定的采用门槛，市场上的其他产品就会开始转向该解决方案，因为它已成为众所周知的“类别领导者”。对于供应商来说，这意味着成功：在 2024 年，买家需要一个额外的理由才能不选择 CrowdStrike 作为他们的端点、Wiz 作为他们的云计算、1Password作为他们的密码管理器等。选择某种产品的行为本身就等同于为企业“做最佳选择”。

论文接着讨论了这样一个观点，即哪些安全工具能生存下来，哪些会消亡，在很大程度上取决于机遇。“银弹（即安全厂商）的加入是建立在随机机会的基础上的，即在开始的几轮中被参与者使用，并在被孤立和撤出的可能性中存活下来。尽管这一最早的过程可能是出于安全考虑，但一旦选择了一组，这种动机就会急剧减弱；偏离的代价是高昂的。改变更有可能与维持社区设定的成本和收益的间接影响有关，而不是与物品名义上的安全使命有关。”

实际的安全措施与供应商的选择如出一辙。当有足够多的人在做某件事情时，就会出现一些 “有效”的轶事，这套行为就被称为 “最佳实践”。尤其令人困惑的是，许多所谓的“最佳实践”并非基于证据。例如，虽然似乎有足够的证据表明，定期更改密码实际上可能弊大于利，但许多公司仍在继续执行要求人们每90天更改一次密码的政策。另一个例子是网络钓鱼模拟：尽管有很多企业放弃了这种做法，但大多数安全团队仍在继续，尽管有证据表明这种做法并没有什么实际作用。

坚持被视为最佳实践的做法，即使最终会对安全态势造成损害，这就是羊群效应的结果之一。正如Ian所解释的：“偏离最佳实践是要付出代价的，包括朝着假定的更高安全性方向偏离……由于破坏平衡的代价与社区成员的数量成正比，社区规模越大，放弃的安全机会就越多，脆弱性也就越大”。而且，“如果一个参与者选择了新的银弹，其他参与者就没有比坚持最佳实践更好的策略了，甚至改变策略的参与者的情况也会变得更糟，因为一旦出现漏洞，他们就会付出非同寻常的代价（因不坚持“最佳实践”而造成的声誉损失）”。

最佳实践战胜安全性的另一个有趣例子是合规性。合规标准往往会鼓励遵守最佳实践，而这往往会损害其所谓的安全性。例如，某些合规性标准规定，即使公司采用了抗网络钓鱼的 MFA/无密码解决方案，也必须使用针对凭证网络钓鱼的培训。

Ian 的文章不仅谈到了问题，还提出了一些解决方案建议。与文章的其他部分类似，他对未来发展的想法在十五年后的今天依然适用。

随着市场上充斥着各种“银弹”，买家利用第一原理思维变得越来越重要。问一问自己，你要解决的核心问题是什么，什么更有可能导致漏洞——是“闪闪发光”的新人工智能模型，还是像网络钓鱼这样更常见的东西？根据这些答案，买家应该为自己列出一份优先事项清单，然后努力寻找解决方案。其中一些解决方案可能确实会以新供应商的形式出现，但许多解决方案会以新流程、开源工具、简化 IT 堆栈等形式出现。

对于供应商来说，即使使用最新的人工智能炒作可能更容易筹集到资金，但同样的第一性原理思维也能带来很多价值。创始人在试图了解他们要解决的根本问题、目标市场是否足够大、他们要解决的问题领域是否被买家视为“高优先级”时，应该诚实地面对自己。令人鼓舞的是，除了层出不穷的人工智能安全初创公司外，我们还看到一些公司正在用户身份和云安全等基础领域起步。

Ian认为，“阳光是最好的消毒剂”。长期以来，所有的安全团队都依赖于所谓的“隐蔽安全”——即通过隐藏安全工作的细节来加强安全。现实情况是，作为一个行业，我们从与他人分享我们的经验教训中获益匪浅。好消息是，我们正在取得进展。越来越多以工程为中心的安全团队正在开源他们自己使用的工具，越来越多的公司允许他们的团队在会议和活动中讨论他们的安全工作。坏消息是，我们的步伐还不够快。一般的CISO都受到严格的保密协议约束，而一般的安全从业人员则不能谈论他们所做的大部分工作。这就意味着，只有保险提供商才能了解行业内发生的真实情况，但他们不够成熟，无法理解这些情况，也没有动力公开这些数据。

另一方面，安全购买者也在积极交换对不同供应商的反馈意见。在过去的十年中，网篮圈社区的数量激增，安全领导者和安全从业人员在这些社区中分享他们使用不同安全工具的经验。这开始改变安全解决方案的购买方式。好消息是，安全厂商无法影响这些交流渠道。此外，越来越多的 CISO 开始成为行业信息共享和分析中心 (ISAC) 的成员。这些组织进一步使安全领导者能够与其他可信赖的合作伙伴分享重要的学习成果和威胁情报。

有一些学术论文在评估工具的有效性方面做得非常出色。我们应该鼓励在这一领域开展更多积极的研究，尤其是由学术界等不涉足这一领域的人员开展的研究。他们甚至可以“混淆”供应商的名称，但仍然可以比较供应商在某个问题领域的有效性并公布结果。有一些由实践者主导的伟大努力希望填补这一空白，我们乐观地认为，将会有更多的人和组织支持这些计划。

在安全领域，尝试产品是一件非常困难的事情。这使得买家无法快速测试新的解决方案并验证供应商的说法。缺乏信息的不仅是买家，还有卖家自己。卖家无法了解竞争对手的实际情况，因此他们只能在没有任何证据的情况下声称自己的工具更好。

好消息是，越来越多的供应商开始允许客户自助试用他们的产品。这对供应商和客户来说都是件好事－－客户可以快速试用这些工具。

客户可以在不完全部署的情况下快速试用这些工具。他们可以了解产品的功能、部署难易程度和整体感觉。这些 POC 应允许客户引入自己的数据集进行快速评估。

对于供应商来说，这种快速 POC 是接纳新的潜在客户的绝佳方式，否则他们可能会更不情愿。此外，供应商还可以更快地获得有关其产品的反馈，而不必等待整个部署周期。

除其他事项外，Ian还主张业界应防止使用最佳实践，而不是接受它们。他认为：“最好的办法是由机构（协会或监管机构）来做，这些机构应鼓励大胆地实验和差异化，而不是一成不变和畏首畏尾。避免最佳做法，促进信息公开共享，并坚持让群体成员找到自己的道路，这样的机构才能发挥更好的作用”。

这一观点，虽然在行业推动标准化的背景下有些逆向思维，但确实有其价值。对于正在寻找一种简单方法来开始安全工作的组织来说，最佳实践清单可以提供一个快速的操作指南。除此之外，必须强调的是，合规并不等于安全，企业必须了解自身的风险状况，并据此做出决策，而不是盲目依赖“最佳实践”。

美国政府正在推动提高安全事件的透明度和披露度。美国证券交易委员会新的网络披露规则要求公司分享有关如何管理网络风险的信息，并在措施不到位并导致重大事故时进行报告。

随着对这一领域的监管不断加强，我们预计未来对供应商可以“宣传”的内容以及他们可以在没有任何证据的情况下做出的声明会有更严格的要求。

Ian指出“原则上，我们可以用基本指标取代信号。在教育领域，难以捉摸的指标是生产率。在安全领域，这是一个开放的研究领域，因此除了强调安全度量研究的重要性之外，我们几乎没有什么定论。这种方法将使每个代理的商品集从最佳实践集转向关注更精确的指标。它们的精确性将更明确地与每个代理机构的具体情况相关联，从而迫使更多的地方调整和更大的部门多样化”。

迄今为止，我们在衡量安全方面的尝试基本上是失败的。如果我们能够转变思维方式，将安全视为我们为实现复原力而购买的东西，那又会怎样呢？感觉是无法测试或验证的，它们只能被当作表面价值。另一方面，复原力是一种方法，可以从统计学角度证明某样东西有多强大，可以抵御哪些类型的攻击，可以抵御多久，以及在什么样的情况下可以保持其特性。

最近有很多关于“默认安全”系统的讨论。谷歌专门就构建安全可靠的系统这一主题写了一整本书。Windows 和 macOS 等主要操作系统以及 ChromeOS 等浏览器就是这种弹性系统的完美范例。Chrome浏览器本质上就是以一种安全可靠的方式在你的机器上运行任意 Javascript/代码。在实现这种安全的过程中，我们采取了大量缓解措施，并不断努力跟上不断演变的攻击。但是，这是可能的，我们都依赖的这些基本平台就是最好的证明。

同样，如今我们已不再谈论“缓冲区溢出”。这是因为整个行业已经通过各种缓解解决方案的结合实现了进化，如地址空间布局随机化（ASLR）、数据执行防护（DEP）甚至是内存安全编程语言，这些都使商品软件更能抵御漏洞利用。

我们认为，这才是正道。试图量化安全性将是一场失败的战斗。不过，作为一个行业，我们可以继续脚踏实地，继续构建更具弹性的系统。