《用于网络防御的深度机器学习》【概念解读、事件简史、深度学习、面临挑战、军事应用】20余位作者2022最新126页技术报告

    

第1章 背景

网络威胁越来越先进，对手更具战略性，可以从世界任何地方表现出威胁。今天的对手拥有资源和时间，只要有时间和资源，就可以轻松地发动破坏性攻击。

不同格式的数据的可用性和丰富性也有助于为对手创造一种灵活性，如果没有数据的涌入，这种灵活性是不存在的[1]。由于对手很容易获得工具和技术，所有形式的大数据的可用性，网络攻击达到了前所未有的高度，北约国家必须通过缓解工具和技术来增强其战略地位，以减轻对军事系统、平台和任务的网络威胁[2]。

缓解技术将包括最新和最伟大的技术，以创造弹性，及时发现和应对攻击，并在平台发生任何损害或损害之前恢复。

世界正在变得更加数字化[3]，军队也不例外。随着先进工具的出现和技术的数字化，研究人员必须做好准备，研究防御性技术，以防止军事系统和平台的破坏和退化。

RTG计划探索深度机器学习（DML）的应用，以实施和加强军事战略网络地位，并创建一个防御，不仅要解决今天的威胁，还要解决未来可能出现的威胁，如增加的处理能力，先进的工具和数据操作技术。

拟议的 "IST 163 - 网络防御深度机器学习"活动的主要目标是巩固全北约在DML和网络防御领域的知识，确定民用解决方案和军事需求之间的差距，并与其他北约国家合作，使用数据处理，共享数据和模型，并追求将最有前途的技术和应用转移到军事领域，同时坚持标准，确保数据与所选技术相匹配。

RTG致力于发现北约各国的DML技术，揭示数据是如何处理和适合神经网络的，并确定各国在这些技术中的差距，以比较最佳的解决方案，这些解决方案有可能被其他可能没有潜力或技术不先进的国家采用。

这项研究为各国创造了一个机会，以全面审视DML在网络防御方面的能力和差距，并研究以最先进的DML方法加强网络防御的手段。

在为DML创建数据时，来自不同背景的研究人员将共同支持反映数据效用和模型的最佳情况的用例，并努力确保数据最适合于研究。考虑到来自多种背景的拟议数据的动态，对数据的整理和消毒以适应模型，将创造一个机会，看到不同类型的数据对DML模型的各方面作用。

将特别关注术语与北约其他倡议中的相关活动的一致性。因此，它将面向来自人工智能、机器学习、建模和模拟以及系统工程等领域的多学科受众。

工作组的工作将集中在机器学习上，包括深度学习方面。

第2章 军事关系

网络防御影响军事行动的所有领域，包括通信、行动和后勤。随着威胁的复杂化和对手变得更加创新，传统的基于签名的检测威胁的方法很容易被规避。现有的防御措施无法跟上新的漏洞、漏洞和攻击载体出现的规模。显然，有必要开发自动和数据驱动的防御系统，其模型适合于军事系统和联盟操作环境。

减少数据分析的负担和扩展到多样化和联合环境的网络防御技术，现在和将来都对军事行动相当重要。在这一类别中，一个有前途的领域是机器学习（ML）的应用，即研究和开发没有预编程指令的模式识别方法来解释数据。Theobold[1]明确阐述了机器学习的效用：

几十年来，机器都是靠响应用户的直接命令来运作的。换句话说，计算机被设计成响应预先编程的命令来执行既定任务。现在，计算机严格来说不需要接收输入命令来执行任务，而是需要输入数据。具体来说，机器根据数据中捕捉到的以往经验创建一个预测模型。从输入的数据中，机器就能制定出如何、在何处、何时执行某种行动的决定。[1]

在20世纪上半叶的20年里，美国的武装部队是数字计算机发展的唯一最重要的驱动力[2]。随着商业计算机行业开始形成，武装部队和国防工业成为其主要市场。在其发展过程中，人类对所有的软件进行编程，并作为计算和算法进步的主要驱动力。面向对象的编程使软件可以重复使用，并扩大了其规模。后来，互联网使软件民主化。随着深度机器学习（DML）的出现，这一格局正准备再次发生根本性的转变，这是ML的一个子集。DML技术通过训练描述输入和输出之间关系的模型，使计算机能够 "编写 "自己的软件。这一突破已经在加速每个行业的进步。研究表明，深度学习将在未来20年内使全球股票市场增加近50%[3]。

网络防御也不例外，这是个趋势。20世纪后半叶，社会和军事应用中越来越多地采用数字技术，而21世纪头几十年的常规数据泄露事件，说明了一个有弹性的网络空间的重要性。人工智能（AI）的应用，包括用于网络防御的ML和DML，已经在国防研究论坛上获得了相当多的曝光[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]。这些应用具有相当大的军事前景，特别是涉及到漏洞发现、威胁识别、态势感知和弹性系统。

2.1 北约视角

网络防御是北约合作安全核心任务的组成部分[12]。2002年，盟国领导人首次公开承认需要加强防御网络攻击的能力[13]。此后不久，在2003年，他们建立了北约计算机事件响应能力（NCIRC），这是一个由 "第一响应者 "组成的团队，负责预防、检测和响应网络事件。从那时起，网络领域的重要性和关注度都在不断增加。2008年，北约建立了合作网络防御卓越中心，目前由25个赞助国组成，其任务是加强北约盟国和合作伙伴的能力、合作和信息共享[14]。2014年，盟国领导人宣布，网络攻击可能导致援引北约创始条约中的集体防御条款。2016年，盟国承认网络空间是军事行动的一个领域。盟国领导人进一步承诺，将加强其国家网络和基础设施的复原力作为优先事项，并申明国际法适用于网络空间[15]。虽然北约的主要重点是保护联盟拥有和运营的通信和信息系统，但它规定了简化的网络防御治理，协助盟国应对网络攻击，并将网络防御纳入作战计划，包括民事应急计划。北约清楚地认识到，其盟国和合作伙伴受益于一个可预测和安全的网络空间。

对北约安全的网络威胁越来越频繁，越来越复杂，越来越具有破坏性和胁迫性。联盟必须准备好保卫其网络和行动，以应对它所面临的日益复杂的网络威胁。因此，盟军的理论指出，网络防御是影响未来军事力量平衡的六个关键因素之一[16]。北约的政策进一步将网络防御的追求定格在六个关键目标上[17]。

将网络防御的考虑纳入北约的结构和规划过程，以执行北约的集体防御和危机管理的核心任务。- 重点关注北约及其盟国的关键网络资产的预防、恢复和防御。

发展强大的网络防御能力，集中保护北约自己的网络。

为对北约核心任务至关重要的国家网络的网络防御制定最低要求。

提供援助，以实现最低水平的网络防御，减少国家关键基础设施的脆弱性。

与合作伙伴、国际组织、私营部门和学术界接触。

最近的研究阐述了这些目标是如何实现的[18]。尽管其成员负责保护自己的网络空间部分，但北约在促进互动、保持态势感知以及随着危机或冲突的发展将资产从一个盟友或战术情况转移到另一个盟友方面发挥着关键作用。它进一步倡导多国部队之间的高度互操作性，包括联合收集、决策和执行盟国在网络空间的行动要素[19]。2013年，北约防御规划进程开始向其盟国分配一些集体的最低能力，以确保一个共同的基线，包括国家网络应急小组（CERT）、加密、教育、培训和信息共享。在网络空间以及其他领域，北约在建立国际规范和行为准则方面发挥了不可或缺的作用，促进了对不可接受的行为、谴责、制裁和起诉的明确性。

2.2 美国视角

美国国家网络战略[20]宣称有责任捍卫美国利益免受网络攻击，并威慑任何试图损害国家利益的对手。它进一步确认了为实现这一目标而开发的网络空间行动能力。美国军事理论将网络行动定义为一系列行动，以防止未经授权的访问，击败特定的威胁，并拒绝对手的影响[21]。在本报告的背景下，有两个关键功能非常突出。

网络空间安全（Cybersecurity），是指在受保护的网络空间内采取的行动，以防止未经授权访问、利用或破坏计算机、电子通信系统和其他信息技术，包括平台信息技术，以及其中包含的信息，以确保其可用性、完整性、认证、保密性和不可抵赖性。

而网络空间防御（Cyber Defence）则是指在受保护的网络空间内采取的行动，以击败已经违反或有可能违反网络空间安全措施的特定威胁，包括检测、定性、反击和减轻威胁的行动，包括恶意软件或用户的未经授权的活动，并将系统恢复到安全配置。

尽管有区别，但网络安全和网络防御都需要对系统和安全控制进行广泛的持续监测。联合军事理论进一步承认了整合能力的挑战，其中包括。

民族国家的威胁，可以获得其他行为者无法获得的资源、人员或时间。一些国家可能利用网络空间能力来攻击或进行针对美国及其盟友的间谍活动。这些行为者包括传统的对手；敌人；甚至可能是传统的盟友，并可能外包给第三方，包括幌子公司、爱国的黑客或其他代理人，以实现其目标。

非国家威胁包括不受国家边界约束的组织，包括合法的非政府组织（NGO）、犯罪组织和暴力极端主义组织。非国家威胁利用网络空间筹集资金，与目标受众和对方沟通，招募人员，计划行动，破坏对政府的信任，进行间谍活动，并在网络空间内直接开展恐怖行动。他们也可能被民族国家用作代理人，通过网络空间进行攻击或间谍活动。

个人或小团体的威胁是由可获得的恶意软件和攻击能力促成的。这些小规模的威胁包括各种各样的团体或个人，可以被更复杂的威胁所利用，如犯罪组织或民族国家，往往在他们不知情的情况下，对目标实施行动，同时掩盖威胁/赞助者的身份，也创造了合理的推诿性。

事故和自然灾害可以扰乱网络空间的物理基础设施。例子包括操作失误、工业事故和自然灾害。从这些事件中恢复可能会因为需要大量的外部协调和对临时备份措施的依赖而变得复杂。

匿名性和归属性。为了启动适当的防御反应，网络空间威胁的归属对于被防御的网络空间以外的任何行动都是至关重要的，而不是授权的自卫。

地域。防御性反应的累积效应可能超出最初的威胁。由于跨区域的考虑，一些防御行动被协调、整合和同步化，在远离被支持的指挥官的地方集中执行。

技术挑战。使用依赖利用目标中的技术漏洞的网络空间能力可能会暴露其功能，并损害该能力对未来任务的有效性。这意味着，一旦被发现，这些能力将被对手广泛使用，在某些情况下，在安全措施能够被更新以考虑到新的威胁之前。

私营企业和公共基础设施。国防部的许多关键功能和行动都依赖于签约的商业资产，包括互联网服务提供商（ISP）和全球供应链，国防部及其部队对这些资产没有直接的权力。

全球化。国防部的全球业务与其对网络空间和相关技术的依赖相结合，意味着国防部经常从外国供应商那里采购任务所需的信息技术产品和服务。

缓解措施。国防部与国防工业基地(DIB)合作，以加强驻扎在DIB非机密网络上或通过DIB非机密网络的国防部项目信息的安全性。

2018年国防战略[22]对美国军队在各个领域--空中、陆地、海上、太空和网络空间--都表示严重关切。它进一步承认，当前的国际安全格局受到快速技术进步和战争性质变化的影响。为了应对这一挑战，美国国防部确定了现代化的优先事项，其中包括人工智能/ML、自主性和网络。网络是一个独特的作战领域，对需要加强指挥、控制和态势感知以及自主行动的军事行动来说，具有重大挑战和潜在的飞跃能力。

2019年联邦网络安全研究与发展战略计划[23]阐明了用人工智能（AI）模型、算法以及其他领域的人与AI互动来增强网络安全研究与发展（R&D）的必要性。将人工智能技术纳入网络自主和半自主系统，将有助于人类分析员在自动监测、分析和应对对手攻击方面以更快的速度和规模运作。这方面的应用包括部署智能自主代理，在日益复杂的网络战斗空间中检测、响应和恢复对手的攻击。预期成果包括预测固件、软件和硬件中前所未有的安全漏洞；根据学习到的互动历史和预期行为，从攻击场景中持续学习和建模；利用通信模式、应用逻辑或授权框架，防御针对人工智能系统本身的攻击；半/完全自主的系统减少了人类在网络操作中的作用。

2020年，美国人工智能国家安全委员会[24]强调了人工智能技术对经济、国家安全和人类福祉的潜在影响。它指出，美国的军事对手正在整合人工智能概念和平台，以挑战美国几十年来的技术优势。人工智能加深了网络攻击和虚假信息运动带来的威胁，我们的对手可以利用这些威胁来渗透社会，窃取数据，并干扰民主。它明确宣称，美国政府应该利用人工智能的网络防御措施，以防止人工智能的网络攻击，尽管它们本身并不能保卫本质上脆弱的数字基础设施。

2.3 网络战争事件的简史

根据北约合作网络防御卓越中心的数据，至少有83个国家已经起草了国家网络安全战略[25]。此外，所有30个北约成员国都发布了一份或多份治理文件，反映了保卫网络环境的战略重要性。这种坚定的姿态源于过去20年里发生的越来越普遍和有影响的网络攻击。在本节中，我们研究了影响北约盟国的高调入侵的简短历史，培养了当前的气氛，并强调了对更好的网络保护、威慑、检测和反应技术的需求。

2003年，一系列协调攻击破坏了美国的计算机系统。这些攻击被美国政府命名为 "泰坦雨"，持续了三年，导致政府机构、国家实验室和美国国防承包商的非机密信息被盗。随后的公开指控和否认，源于准确检测和归因于网络攻击的困难，成为网络空间中新出现的国际不信任的特征。

2007年，爱沙尼亚成为一场持续二十二天的政治性网络攻击活动的受害者。分布式拒绝服务攻击导致许多商业和政府服务器的服务暂时下降和丧失。大多数的攻击是针对非关键性服务，即公共网站和电子邮件。然而，有一小部分集中在更重要的目标，如网上银行和域名系统（DNS）。这些攻击引发了一些军事组织重新考虑网络安全对现代军事理论的重要性，并导致了北约合作网络防御卓越中心（CCDCOE）的建立，该中心在爱沙尼亚的塔林运作。

2008年，一系列的网络攻击使格鲁吉亚组织的网站失效。这些攻击是在一场枪战开始前三周发起的，被认为是一次与主要作战行动同步的协调的网络空间攻击。

2015年，俄罗斯计算机黑客将目标锁定在属于美国民主党全国委员会的系统上。这次攻击导致了数据泄露，被确定为间谍行为。除了强调需要加强网络复原力外，对这一事件的反应突出了采取行动打击虚假信息和宣传行动的必要性。

2017年，WannaCry勒索软件感染了150个国家的20多万台电脑。这种不分青红皂白的攻击，由利用微软视窗操作系统漏洞的勒索软件促成，锁定数据并要求以比特币支付。在幸运地发现了一个杀毒开关后，该恶意软件被阻止了，但在它导致工厂停止运营和医院转移病人之前。

2018年，挪威军方和盟国官员证实，俄罗斯在欧洲高北地区举行的三叉戟接点演习中，持续干扰GPS信号，扰乱了北约的演习[26]。"使用天基系统并将其拒绝给对手的能力是现代战争的核心"[27]。在过去几十年里，军事行动对天基资产的依赖性越来越大，天基资产越来越成为网络攻击的理想目标。俄罗斯等国都将电子战、网络攻击和电磁战斗空间内的优势作为在未来任务中取得胜利的战略的一部分。这些国家的现有理论突出了一个重点，即防止对手的卫星通信系统影响其作战效率。卫星依赖于网络技术，包括软件、硬件和其他数字组件。空间系统对于在空中、陆地、海上、甚至网络领域进行的行动中提供数据和服务是至关重要的。对卫星控制系统或带宽的威胁对国家资产和目标构成了直接挑战，并促进了对缓解措施的需求，以实现这些系统的弹性。

2020年，来自亚美尼亚和阿塞拜疆的黑客在纳加诺-卡拉巴赫战争期间以网站为目标。错误信息和旧事件的视频被当作与战争有关的新的和不同的事件来分享。新的社交媒体账户创建后，关于亚美尼亚和阿塞拜疆的帖子激增，其中许多来自真实用户，但也发现了许多不真实的账户。这一事件强调了社会网络安全作为一个新兴研究领域的出现[28]。

2020年，一场重大的网络攻击通过破坏流行的网络监控工具Solarwinds的软件供应链渗透到全球数千家机构。据报道，由于目标的敏感性和高知名度，以及黑客进入的时间之长，随后发生的破坏程度是美国所遭受的最严重的网络间谍事件之一。在被发现的几天内，全世界至少有200个组织被报告受到了攻击。

2.4 网络空间的大趋势

越来越多的趋势是网络空间发展的特点。网络技术在我们生活的各个方面发挥着越来越大的作用。这一趋势也延伸到了军事冲突。对网络技术的日益依赖将带来新的脆弱性，并侵蚀传统网络防御的界限。随着基础技术组件和界面的成熟，网络空间和其他领域，包括关键基础设施、军事武器系统和综合生物、物理和量子系统之间的交叉将越来越重要。在本节中，我们确定了将影响网络空间演变的技术和非技术趋势，以及ML在其防御应用中的基本效用。

2.4.1 技术趋势

硬件、软件和协议的可编程性和复杂性日益增加。可编程性的增加带来了快速的开发和交付窗口，但每一个新的代码库都会进一步引入新的漏洞。复杂性的增加导致了未使用的代码路径，即软件臃肿，从而维持了不良的攻击路径。第三方和开源硬件和软件的存在越来越多，这使得快速的原型设计成为可能，但也容易受到不透明的供应链和来源损失的影响。

自主性的应用和加速的决策循环是网络冲突的方向和速度的特征。人类将在机器智能中依赖大数据、增加的计算能力和新型计算算法的汇合。日益增长的网络速度需要更多地依赖预防妥协、复原力以及与人类专家的最佳人机合作。同时，网络空间越来越不可信，新兴的安全架构规定，需要根据资产和信息对任务背景的重要性来保护它们[29]。

网络空间的应用范围越来越多样化。随着边缘设备保持通电和可访问性，以及低尺寸、低重量和电源设备连接的应用增长，无处不在的连接将增加军事上对网络空间的依赖。与网络物理系统（即物联网）一样，新兴的生物、物理和量子应用将需要与网络空间的新接口。这些接口将为网络防御创造新的机会和挑战，如仪器和传感、侧信道攻击和形式验证。

机器学习（ML）将继续发展其与网络空间技术和网络防御应用的多层面关系。一方面，ML可以增强几乎所有的网络技术及其应用（即微电子、网络、计算架构等的设计、开发和测试）。另一方面，网络技术的进步（如张量处理单元、量子计算机）可以增强ML能力。鉴于在大量数据中进行模式识别的基本挑战，ML可以大大改善网络空间的能力和弹性。

2.4.2 非技术趋势

互联网用户的数量囊括了世界一半以上的人口[30]。尽管有迹象表明，由智能手机出货量下降和2020年全球大流行引起的近期增长放缓，但创新继续推动产品改进。收集的数字数据的迅速崛起是那些增长最快的公司成功的关键，通常是通过数据挖掘和丰富的上下文增强，帮助个性化的产品和服务。这导致了对滥用数据、用户隐私和准备推动市场变化或监管的问题内容的担忧。随着数字系统变得越来越复杂，数据越来越丰富，任务也越来越重要，利用的机会和意愿也越来越大。越来越多地，新兴技术的网络安全影响被纳入国际外交和国防考虑。最近的例子包括脆弱性平等进程[31]、网络空间信任与安全巴黎呼吁[32]和算法权利法案[33]。

战略性的全球需求信号，包括气候变化和资源短缺，可能会产生新的领土野心和联盟，导致政治格局急剧变化。例如，由天基太阳能技术产生的电力可能被传送到地面，这就需要新的关键基础设施和网络空间的全球存在点。同样，由自然资源短缺引起的人口变化可能会改变政治和国家安全格局。这些变化将引入新的关键基础设施，并对网络空间产生依赖性。

军事行动已经严重依赖网络空间。这种依赖性是一个可以被利用来获得不对称优势的弱点[34]。数字地形的丢失、退化、损坏、未经授权的访问或利用为对手提供了巨大的优势，并对军事目标构成了威胁。近邻的行为者将继续试图破坏网络空间或反击进攻性网络行动。进攻性网络能力的民主化和扩散将进一步为非近邻的竞争对手提供具体的优势。越来越多地，一个国家的能力和影响力可以通过其将消费电子产品武器化的能力来衡量，特别是当这些商业开发的系统将成为军事应用的基础。因此，网络攻击的范围、频率和影响都将增长。

同时，全球化将促使对军事行动的标准和责任的审查增加。政治和公众对问责制的要求将因战争的日益不透明而受到挑战。例如，在物理领域开展的威慑行动需要精心策划的叙述和信息传递，与24小时的新闻周期保持一致。然而，进攻性的网络行动准备实现更加隐蔽的效果，不容易被观察到或归因。网络战工具已将网络空间转化为一个灰色地带的战场，在这里，冲突低于公开的战争门槛，但高于和平时期。

作战将越来越多地将网络与传统领域（如陆地、海洋、空中、太空）结合起来。战争学说、国际条约和一般法律将随着力量平衡、现有技术和区域冲突的变化而反应性地发展。进攻性网络工具的民主化将对抗动能领域作战的传统优势。前所未有的连通性和日益增长的民族主义将推动网络空间继续被用于不对称的优势。世界范围内的社会动荡所助长的虚假信息和影响运动将可能蔓延到网络空间。尽量减少外部影响、执行数据隐私和管理数字内容的愿望增强，可能会推动互联网的巴尔干化。

这在俄罗斯宣布将其国家部分从全球互联网中关闭并成为 "数字主权"，同时在网络空间中追求决定性的军事优势中已经得到证明。在这个目标中，包括为人工智能系统建立信息安全标准。这样的新技术应用很可能会影响俄罗斯选择的实现其目标的方式。例如，Kukkola等人[35]断言，人工智能可能为俄罗斯提供一个机会，以灵活的方式定义其数字边界，反映普遍的意见和忠诚度，而不是地理位置。俄罗斯领导层进一步断言，领导人工智能的国家将是 "世界的统治者"，表明这种进步将是变革性的，其影响尚未被完全理解。

第4章 深度机器学习在网络防御中的应用

传统的网络安全和网络防御方法依赖于人工数据分析来支持风险管理活动和决策。尽管这些活动的某些方面可以自动化，但由于其简单性和对问题领域的有限理解，自动化往往是不足的。在这一章中，我们将调查DML应用的文献，这些应用可以帮助信息安全的持续监控，用于美国国家标准研究所定义的一组安全自动化领域[1]。我们这样做是为了对最先进的研究现状、实际实施、开放的挑战和未来的愿景建立一个结构化的理解。通过这些见解，我们指出了DML在整个网络安全领域应用的一系列挑战，并总结了我们的发现。

在不同的安全自动化领域中，我们已经确定了主题和建议未来研究的领域。其中一个反复出现的主题似乎是缺乏实际的实现，也就是说，缺乏高技术准备水平（TRL）。我们怀疑这可能是由于许多不同的原因，例如，未满足性能预期、数据不足、不合格的深度学习架构、对促进可扩展的DML应用的通用数据存储和分析解决方案缺乏共识，或研究的初级阶段。通过我们的初步调查，我们强调了未来的研究方向和/或阻碍每个安全自动化领域的进一步进展的问题。

恶意软件检测。DML应用需要处理恶意软件如何随着时间的推移改变其统计属性，例如，由于对抗性方法（概念漂移）。还有一个问题是关于数据共享，以适应不太可能被释放到野外的高级恶意软件，以及一般的数据访问。此外，还需要研究如何定义能够代表软件的新特征，以便进行检测和归属。

事件管理。DML与现有安全控制的整合不足，限制了DML应用的开发程度。在操作化、管理和例行程序方面，以促进标记数据的收集和深度学习模型的开发。

信息管理。DLP系统可以与网络和终端系统紧密相连，需要对系统有一个深刻而广泛的了解。在当前的IT安全趋势下，加强数据保密性，这样的系统正面临着数据可访问性的降低。这绝不是这个领域特有的问题，但却使DML应用的开发变得复杂。因此，研究机会是存在的，例如，通过与底层操作系统更深入的整合来恢复数据的可访问性。然而，也有一些课题需要研究描述任何给定数据是否包含敏感信息的条件，以及相同数据的变化如何被识别，而不考虑例如编码方案。以及当所需的数据在没有额外分析的情况下无法直接获得时，如何表示模糊或开放的规则并验证其合规性。

脆弱性管理。缺乏共识和对公共和足够大的数据集的访问，已经被认为是漏洞发现领域的一个挑战。然而，有一些尝试可以减少这种依赖性，通过部署预先训练好的语言模型，例如，对软件扫描进行模糊测试，以检测漏洞并协助修补漏洞。我们预见了两个可以进一步研究的方向：改进深度学习架构或改进数据集及其特征表示。

软件保证。尽管支持DML应用的技术存在于相关领域，如恶意软件检测和漏洞管理。我们还没有发现在这个领域内研究问题的努力，但当多个DML应用能够协同工作时，我们期待这种发展。

资产管理。随着即将到来的资产新浪潮，被称为 "工业4.0"。其中包括制造业的自动化和数据交换的趋势，以及移动设备、物联网平台、定位设备技术、3D打印、智能传感器、增强现实、可穿戴计算和联网的机器人和机器。我们认为，DML的应用可以并将有助于这种未来资产管理的某些方面，然而，哪些方面仍然是一个开放的研究问题，开放的文献表明，需要探索行业特定的使用案例。

许可证管理。考虑到软件资产管理（SAM）考虑到许可问题，这里也适用与资产管理相同的未来研究方向。- 网络管理。移动目标防御（MTD）是一个新兴的研究领域，将大大受益于人工智能驱动的方法。

配置管理。我们希望与MTD研究相关的技术可以使配置管理能力受益。

补丁管理。我们已经确定了解决某些问题的研究，如：以风险意识的方式动态调度补丁，自动漏洞修复分析，以及在软件补丁尚未可用的情况下定位漏洞缓解信息。然而，没有人试图将这些纳入一个单一的模型，从而创建一个完整的管道。这可能是未来研究中需要探索的一个领域。

最后，我们没有发现任何证据表明，任何安全领域在DML应用方面的研究都已经完成。所有的领域都有尚未探索的研究领域，这些领域在未来可以并且有望经历重大的研究。

4.1 恶意软件检测

4.2 事件管理

4.3 信息管理

4.4 漏洞管理

4.5 软件保障

4.6 资产管理

4.7 许可证管理

4.8 网络管理

4.9 配置管理

4.10 补丁管理

第5章 深度学习面临的挑战

5.1 对抗攻击

(本节中使用的分类法和术语是根据NIST报告[1]，并从Shafee和Awaad的论文[2]中稍作扩展而采用的)。

机器学习的数据驱动方法在ML操作的训练和测试（推理）阶段带来了一些漏洞。这些漏洞包括对手操纵训练数据的可能性，以及对手利用模型对性能产生不利影响的可能性。有一个研究领域被称为对抗性机器学习（AML），它关注的是能够经受住安全挑战的ML算法的设计，对攻击者能力的研究，以及对攻击后果的理解。AML也对针对深度学习模型的攻击感兴趣。

ML管道中的各个阶段定义了这些对抗性攻击的目标，如输入传感器或输出行动的物理域，用于预处理的数字表示，以及ML模型。AML的大多数研究都集中在ML模型上，特别是监督学习系统。

用于对先前所述目标进行攻击的对抗性技术可能适用于ML操作的训练或测试（推理）阶段。

5.2 可解释的人工智能

人工智能（AI）已经被使用了很多次，因为它们在学习解决日益复杂的计算任务时具有前所未有的性能。由于它也被普遍用于影响人类生活的决策，如医学、法律或国防，因此需要解释或说明为什么这种人工智能系统会得出这样的结论。

传统的模型，如决策树、线性和逻辑回归，通过对特征权重的分析，允许一定程度的可解释性；而深度神经网络是不透明的，仍然是一个黑盒子。此外，如图5-1所示，机器学习算法的性能与解释训练过的模型的难易程度之间似乎存在一种反比关系。

2017年，DARPA启动了可解释人工智能（XAI）计划，以解决数据分析（针对情报分析员）以及未来利用强化学习的自主系统的可解释性问题。在DARPA的报告中，提出了一套创建这种ML技术的方案，在保持高水平的学习性能（如预测精度）的同时，产生更多的可解释模型，并使人类能够理解、信任和管理新兴的人工智能系统[13]。

文献对可通过设计解释的模型和可通过外部技术解释的模型进行了区分。DL模型不能通过设计来解释；因此，研究集中在外部XAI技术和混合方法上。Arrieta等人解释了适用于不同类型的DL模型的技术和混合方法的所有细节。此外，他们解决了一些关于可解释性和准确性之间的权衡、解释的客观性和不明确性以及传达需要非技术专长的解释的问题[14]。

5.3 超参数调优

超参数是控制学习过程行为的属性，它们应该在训练模型之前配置好，而不是在训练过程中学习的模型参数，例如权重和偏差。它们很重要，因为它们会对正在训练的模型的性能产生重大影响。

5.4 互操作性挑战

语法（框架）的互操作性。2017年，Open Neural Network eXchange（ONNX）格式被创建为社区驱动的开源标准，用于表示深度学习和传统机器学习模型。ONNX协助克服了人工智能模型中的硬件依赖问题，并允许将相同的人工智能模型部署到多个HW加速目标。许多框架的模型，如TensorFlow、PyTorch、MATLAB等，都可以导出或转换为标准的ONNX格式。然后，ONNX格式的模型可以在各种平台和设备上运行（图5-2）。

语义互操作性。当数据来自于含义不相同的混合来源时，就不可能了解趋势、预测或异常情况。语义互用性是指计算机系统交换具有明确意义的信息的能力。为此，无论数据是从单一来源还是异质来源汇总而来，都需要高质量的人类注释数据集来准确地训练机器学习模型。

实现语义互操作性的最佳实践之一是使用原型。原型是一种数据格式规范，它应该尽可能地提供最可用的完整细节。它提供了数据的共享意义。人工智能系统的语义互操作性要求原型是高质量的、基于证据的、结构化的，并由领域专家设计[20]。

5.5 数据相关性

与传统的机器学习方法相比，深度学习在很大程度上依赖于大量的训练数据，因为它需要大量的数据来理解数据的潜在模式。然而，在某些领域，训练数据不足是不可避免的。数据收集是复杂而昂贵的，这使得建立一个大规模、高质量的注释数据集变得异常困难。转移学习是一个重要的工具，可以用来解决训练数据不足的问题。它试图将知识从源域（训练数据）转移到目标域（测试数据），方法是放宽训练数据和测试数据必须是独立和相同分布的假设，即样本是相互独立的，并且来自相同的概率分布。这样一来，目标域的模型就不需要从头开始训练。

深度迁移学习研究如何通过深度神经网络有效地迁移知识。根据使用的技术，Tan等人[21]将深度迁移学习分为四类：基于实例、基于映射、基于网络和基于对抗。

1）基于实例的深度迁移学习。源域中与目标域不同的实例被过滤掉并重新加权，以形成接近目标域的分布。用源域中重新加权的实例和目标域中的原生实例来训练模型。

2）基于映射的深度迁移学习。来自源域和目标域的实例被映射到一个新的数据空间。然后，新数据空间中的所有实例被用作训练集。

3）基于网络的深度迁移学习。一般来说，网络中最后一个全连接层之前的各层被视为特征提取器，最后一个全连接层被视为分类器/标签预测器。网络在源域用大规模训练数据集进行训练。然后，预训练网络的结构和特征提取器的权重将被转移到将在目标领域使用的网络中。

4）基于对抗的深度迁移学习。这组技术的灵感来自生成对抗网（GAN）（图5-3）。一个被称为领域分类器的额外鉴别器网络从源领域和目标领域提取特征，并试图鉴别特征的来源。所有的源和目标数据都被送入特征提取器。特征提取器的目的是欺骗域分类器，同时满足分类器的要求。

5.6 数据质量

有了低质量的数据，无论机器学习和/或深度学习模型有多强，它都无法做到预期的效果。影响数据质量的过程分为三组：将数据带入数据库的过程，在数据库内操作数据的过程，以及导致准确的数据随着时间的推移而变得不准确的过程。关于降低数据质量的过程的细节可以在参考文献中找到。[22].

在使用、导入或以其他方式处理数据之前，确保其准确性和一致性的过程，被称为数据验证。现在，数据存储在不同的地方，包括关系型数据库和分布式文件系统，并且有多种格式。这些数据源中有许多缺乏准确性约束和数据质量检查。此外，今天的大多数ML模型定期使用新的可用数据进行重新训练，以保持性能并跟上现实世界数据的变化。因此，由于任何参与数据处理的团队和系统都必须以某种方式处理数据验证，这就成为一项繁琐和重复的任务。对数据验证自动化的需求正与日俱增。

一种方法是由Amazon Research提出的单元测试方法[23]。该系统为用户提供了一个声明性的API，允许用户对他们的数据集指定约束和检查。当验证失败时，这些检查在执行时产生错误或警告。有一些预定义的约束供用户使用，用于检查数据的完整性、一致性和统计量等方面。在约束条件被定义后，系统将它们转化为实际的可计算的度量。然后，系统计算指标并评估结果，随后，报告哪些约束成功了，哪些失败了，包括哪个指标的约束失败了，哪个值导致失败。由于新的数据不断涌现，该方法采用了递归计算方法，只考虑自上一个时间步骤以来的新数据，以增量方式更新度量。此外，该系统自动为数据集提出约束条件。这是通过应用启发式方法和机器学习模型实现的。

另一种方法是基于数据模式的方法，由谷歌研究院提出[24]。对正确数据的要求被编入数据模式中。所提议的系统采取摄取的数据，通过数据验证，并将数据发送到训练算法中。数据验证系统由三个主要部分组成。一个数据分析器，计算预先定义的足以用于数据验证的数据统计数据；一个数据验证器，检查通过模式指定的数据属性；以及一个模型单元测试器，使用通过模式生成的合成数据检查训练代码中的错误。该系统可以检测单批数据中的异常情况（单批验证），检测训练数据和服务数据之间或连续几批训练数据之间的显著变化（批间验证），并发现训练代码中未反映在数据中的假设（模型测试）。

5.7 上下文感知

尽管深度学习通过使用神经网络中的多层来逐步分解特征以识别某些特征，但它对数据来源的背景理解较浅，其中背景提供了使某一事件产生的环境或元素，并能为其解释传达有用的信息。因此，一个模型最终可能被专门用于训练数据中记录的一种或多种情况。因此，这个模型可能对类似的情况有偏见，从而只在这种情况下表现合理。该模型能够推翻从训练中学到的经验，以适应不断变化的环境。然而，这种能力是受限制的。研究能够捕捉上下文的模型的动机，通过更强大的、有弹性的、可适应的深度学习来提高任务的有效性。这使得深度学习的使用更具成本效益。

弥补偏见问题的最初努力，始于Bottou和Vapnik[25]提出的局部学习的建议。它涉及到将输入空间分离成子集并为每个子集建立模型。这个概念本身并不新颖，但由于处理大数据集的应用的复杂性，已经获得了一些可信度[26]。相反，Mezouar等人[27]没有发现局部模型比全局模型更值得投资用于预测软件缺陷。多任务学习（MTL）[28]是机器学习的另一个子领域，可以利用。它将输入空间分离成多个任务，并利用共享信息，同时考虑到它们的差异。其目的是通过联合学习和获取共享表征来提高多个分类任务的性能。Suresh等人[29]试图在死亡率预测的背景下比较这三种类型的模型。他们的工作表明，多任务模型在整体和每组性能指标上都能胜过全局模型和在单独的数据子集上训练的局部模型。不幸的是，似乎还没有就最合适的模型来捕捉上下文达成最终共识。由于在特定任务的模型之间进行信息共享的技术研究，调整本地/全局模型以适应新的环境，或如何将本地和全局模型结合起来，仍然是活跃的[30]，[31]。

5.8 北约范围内的“网络安全深度学习”应用面临的挑战

在上面提到的所有挑战中，这个RTG的成员最关心的是分享知识的可能方式。本章讨论的问题有两种可能的方式：分享训练数据或分享模型：

1）训练数据共享。从北约演习中收集的数据是有价值的。能够利用它们将是非常好的。对于数据共享，最可能的是，应该构建一个数据库。当各盟国的数据库被加入时，可能会出现语义互操作性的问题（见第6.4节，语义互操作性）。为了保持数据库的完整性，所有的盟友都应该围绕一个标准化重新形成他们的训练数据，并以这种方式向数据库提供数据。这既费时又容易出错。此外，数据的质量是至关重要的，在向数据库提供数据之前应该进行审查（见6.6节）。此外，这种方法是危险的，因为如果对手到达这个数据库，他们可以在数据中下毒。(关于可能的训练数据目标攻击和针对它们的对策技术，见第6.1节，训练阶段攻击)。

2）模型共享。在句法互操作性工具的帮助下，现在可以共享DL模型了。(见第6.4节，句法互操作性）。使用基于网络的迁移学习，在北约盟友之间分享特征提取器似乎更有帮助，这样任何盟友都可以在他们的测试数据上应用他们希望的任何任务的衍生知识（关于迁移学习的细节，见6.5节）。然而，问题是，谁来训练这个模型，他将使用哪些数据？如果在数据库中存储数据是有问题的，那么为了训练将被共享的模型，授予一个人/实体对所有北约练习数据的访问权也可能是麻烦的。通常情况下，不存在这样的平台，允许每个人使用自己的数据来训练相同的DL模型。然而，在这种情况下，一种叫做 "联合学习 "的分散方法似乎是可行的。它是一种分布式的机器学习方法，在这种方法中，一些被称为客户的参与者一起工作，在多次迭代中训练某个机器学习模型。联合学习最早是在[32]中提出的，它是由一组移动设备执行的分布式训练模型，这些设备与中央服务器交换本地模型的变化，中央服务器的功能是将这些更新集合起来形成一个全球机器学习模型。一个联合学习场景由一个中央服务器和一组N个客户组成，每个客户都有自己的本地数据集。最初选择一个客户端的子集来获得模型权重方面的共享模型的全局状态。然后，基于共享参数，每个客户在自己的数据集上进行本地计算。然后，客户提交模型更新（即基于客户本地数据集的本地学习的权重）给服务器，服务器将这些更新应用于其当前的全局模型，生成一个新的模型。然后，服务器再次与客户共享全局状态，这个过程要进行多次，直到服务器确定了一个特定的准确度。因此，客户不需要分享他们的原始数据来为全局模型做贡献，只要有足够的CPU或能源资源来处理它所拥有的训练数据就足够了。

第7章 军事应用

军事行动植根于对工业时代危机的实际反应，并由关于规模、杀伤力和覆盖范围的假设形成[1]。然而，当代冲突跨越了区域边界和地理领域。威胁的数量和行为者的范围在数量和多样性上都在增长，这与需要与之协调应对的行为者的数量相呼应。利用网络空间的敌人可以挑战盟国能够或愿意作出反应的门槛。对网络领域的依赖增加了在敌方网络空间实现支持军事目标的效果的重要性。最终，军事行动变得更加动态和复杂。

深度机器学习（DML）已经成为人工智能领域的主要技术来源。可以预见的是，DML对网络防御之外的军事应用的影响将是广泛的，因为它提供了在军事行动环境中获得信息和决策优势的机会。在本章中，我们将研究那些有可能受益并因此重塑网络防御的军事应用，超越传统的保护、威慑、检测和响应概念。

7.1 指挥与控制

7.2 态势感知和任务保证

7.3 网络空间防御作战

7.4 社交网络安全

7.5 网络欺骗

完整版下载

专知便捷查看

便捷下载，请关注专知人工智能公众号（点击上方关注）

点击“发消息” 回复 “DMLCD” 就可以获取《推荐！《用于网络防御的深度机器学习》【概念解读、事件简史、深度学习、面临挑战、军事应用】20余位作者2022最新126页技术报告》专知下载链接