如何拥有比想象的更多的数据

我们需要做的是定义一种科学合理的方法来评估方法，然后根据该评估来比较不同的方法。但一个普遍的担忧是网络安全缺乏足够的数据来进行适当的、统计上有效的测量。讽刺的是，这种说法几乎总是在没有进行任何适当的数学计算的情况下提出的。

回想一下测量入门，如果我们能够扩大我们的视野，了解哪些数据可以提供信息，我们确实拥有比我们想象的更多的数据。因此，在网络安全风险评估方法的性能方面，我们拥有的数据比我们想象的要多。

我们不必只看自己而受到限制。当然，每个组织都是独一无二的，但这并不意味着我们不能从不同的例子中学习。事实上，如果我们不能从不相同的经历中进行概括，那么经验就毫无意义。保险公司如何利用来自更多人群的信息进行估算即使您从未提出索赔，您的健康风险，或者医生如何相信您从未尝试过的药物对您有效，因为他知道涉及许多其他人的大型实验。
我们可以测量组件以及整个系统。我们可以测量整个系统的整体性能，也可以测量系统的各个组件。当工程师预测尚未构建的新系统的行为时，工程师正在使用组件行为及其交互方式的知识。衡量风险评估的几个组成部分比等待罕见事件发生更容易。例如，跟踪网络安全分析师对更频繁的小事件的估计程度是对风险管理系统中“专家估计组件”的衡量标准。
我们可以使用已发表的研究成果。如果我们愿意在我们自己的经验之外考虑对更大人群进行成分水平的研究，那么就会有更多的数据可用。当您没有现有数据或任何类型的外部研究时，可能是时候开始收集数据作为定义的测量过程的一部分了。

了解我们可以使用哪些数据来支持测量最终是我们在前面的章节中讨论的“参考类”问题。在完美的世界中，您的公司将拥有大量自己的数据，无需从由大量其他公司组成的参考类中进行推断。您可以通过衡量您自己公司内观察到的结果来衡量风险评估系统的整体绩效。如果公司足够大并且愿意等待足够长的时间，您可以使用不同的风险评估方法观察不同业务部门的重大数据泄露事件的变化。更好的是，全行业的实验可以扩大参考类别以包括许多组织，并产生大量数据，甚至是关于单个公司罕见的事件的数据。

当然，由于多种原因，多年的全行业实验是不切实际的，包括需要时间以及需要说服组织在知道自己可能属于“安慰剂”组的情况下参与其中。（哪些组织希望使用假方法进入“安慰剂”组？）毫不奇怪，截至本文撰写之日，同行评审文献中尚未发表此类研究。那么如何才能科学合理地比较不同的风险评估方法呢？我们刚才提到的其他测量策略维度给了我们一些选择——其中一些可以立即给我们答案。

初步测量的一个更可行的答案是在更大的人群中进行实验，但在成分层面上进行现有的研究。组件测试是许多工程和信息技术专业人士已经熟悉的一种方法。我们的组件可以考虑的是风险评估的各个步骤、所使用的工具以及协作方法。即使是简单地对潜在事件进行概率计算的行为也是我们可以测试的过程的组成部分。事实上，已经在组件层面上对此进行了大量研究，其中包括一些规模非常大的研究，由许多独立研究人员进行了数十年，并发表在领先的同行评审科学期刊上。

如果一种方法的各个组成部分被证明是一种改进，那么完全基于这些要素的方法比那些没有此类证据的方法更有可能有效，或者更糟糕的是，这些组成部分已被证明是有效的。有缺陷的。这与炼油厂或火箭的设计者使用既定的物理原理来评估系统的组件，然后计算这些组件总体上的表现没有什么不同。有许多潜在的组件需要评估，因此让我们将它们分为两大类，这些类别已用于或可以用于网络安全风险评估：