每周文章分享-139

研究背景

物联网(IoT)设备发展迅速，它们使各种应用变得更加智能化。然而，物联网往往受到计算和能源的限制，这阻碍了一些强大的入侵检测机制的部署，再加上缺乏定期维护，这些限制使得物联网设备容易受到入侵。因此，需要有效的入侵检测机制来保护物联网基础设施免受恶意入侵。然而，物联网数据的稀缺性阻碍了传统入侵检测方法的有效性。为了解决这一问题，本文提出了基于无监督异构域适应(HDA)的自适应双向推荐自改进网络(ABRSI)，将物联网入侵检测(IID)问题形构建为一个无监督异构自适应问题，该问题从网络入侵(NI)域中转移丰富的入侵知识，以促进数据稀缺下更好的物联网入侵检测。

关键技术

基于域适应（DA）的入侵检测方法是从数据丰富的网络入侵（NI）域转移入侵知识，以便在数据稀缺的情况下更有效地进行物联网入侵（II）检测。通过将两个域对齐到一个公共特征空间中，来自源 NI 域的丰富入侵知识可以有利于目标 II 入侵检测。此外，基于异构域适应（HDA）的方法还应该能够解决域间异构性，例如不同的特征表示、不同的特征维度等。

本文在无监督 HDA 设置中提出了一种自适应双向推荐和自我改进（ABRSI）网络，即目标 II域完全无监督，同时源 NI 域和目标 II 域之间存在异质性。ABRSI 从数据丰富的网络入侵源域传输丰富的入侵知识，以促进对数据稀缺的 IoT 目标域进行有效的入侵检测。ABRSI 通过自适应双向推荐匹配实现细粒度的入侵知识转移。匹配两个推荐系统（RS）的双向推荐兴趣以及共享特征空间中入侵类别的对齐形成了互惠互利的循环。此外，ABRSI采用自我改进机制，从四个方面自主改进入侵知识传递。硬伪标签（PL）投票机制联合考虑RS决策和标签关系信息，以促进更准确的硬伪标签分配。为了促进入侵知识转移过程中的多样性和目标数据参与，未能分配硬伪标签的目标实例将被分配概率软伪标签，形成混合伪标记策略。同时，ABRSI 还使软伪标签具有全局多样性和个体确定性。最后，利用错误知识学习机制来对抗性地利用导致检测歧义的因素，并通过当前和先前的错误知识进行学习，防止错误知识遗忘。总体而言，这些机制形成了ABRSI模型，该模型通过HDA辅助的入侵知识传输来提高物联网入侵检测的准确性。

该方法的创新和贡献如下：

1）认识到在数据极度稀缺的无监督HDA设置下，从源NI域转移丰富的入侵知识有助于更好地对目标II域进行入侵检测。

2）首次引入推荐系统（RS）来促进更好的入侵知识传输，采用ABR匹配机制来匹配入侵类别的兴趣，形成双向推荐匹配和特征空间对齐自适应互惠互利的正循环。RS 还可以通过避免违反挖掘的入侵兴趣的伪标签来使硬伪标签分配受益。

3）利用具有四个子机制的自我改进（SI）机制，即通过投票实现 SI 硬伪标签准确性、通过混合伪标签策略实现 SI 参与和多样性、SI 软伪标签多样性以及通过利用和消除错误知识实现置信度和SI，同时防止错误知识遗忘。

4）在五个广泛认可的入侵检测数据集上进行综合实验来验证ABRSI的有效性，同时展示每个构成组件的有用性并验证效率。

算法介绍

（1）ABRSI架构

图1  ABRSI架构

ABRSI的模型架构如图1所示。ABRSI包含两个域，源 NI 域和目标 II 域，每个域都有一个特征投影器，将异构特征映射到d_C维共享特征子空间。共享分类器 C用于做出入侵检测决策。ABRSI 利用 ABR 机制。它涉及一个经过源训练的推荐系统（RS），它会推荐最重要的一个源实例到每个目标，以及一个经过目标训练的RS，它向每个源类别质心推荐前 N 个目标实例。匹配两个RS之间的类别推荐可以在共享特征空间中强制执行更精细的特征对齐，进而产生具有改进的推荐能力的RS。因此，它形成了一个正循环，其中双向推荐匹配和特征对齐以自适应方式相互受益。然后，ABRSI 从四个角度利用自我改进机制。伪标签投票机制通过联合考虑分类器预测、RS决策和标签关系信息来提高硬PL分配的准确性。它考虑了 RS 学习到的入侵兴趣，并避免了从标签关系信息中受益的容易出错的近边界伪标签。为了增强标签多样性并促进未标记目标实例在入侵知识转移过程中更好地参与，ABRSI 采用混合伪标签策略。最后，ABRSI 使用错误知识学习（EKL）机制，该机制利用导致入侵检测歧义的错误知识，并通过反向错误知识和先前错误知识的对抗性学习来迭代消除它。EKL整体实现了错误知识的利用、消除，同时防止错误遗忘。将这些机制形成一个整体模型，实现了细粒度的入侵知识转移，使得共享分类器C对未标记的目标II域产生最佳的入侵检测效果。

（2）本文算法

A.自适应双向推荐（ABR）匹配  

图2  ABR匹配和特征对齐之间的正循环

推荐系统（RS） 是利用兴趣（即每个入侵类别的特征）的强大工具。图2（左）可以看出，如果特征没有很好地对齐，每个域的 RS 就无法找到相似的兴趣。ABR 弥补了双向推荐匹配和细粒度入侵域对齐之间的差距。ABRSI使用经过源训练的 RS，表示为 RS_S。由于两个域都映射到一个公共特征空间，因此，经过源训练的RS应该能够向给定的目标实例推荐最相似的源入侵实例。

如果RS充分利用入侵类别兴趣，那么，向给定的未标记目标实例推荐入侵类型B源实例表明目标实例极有可能属于入侵类型B。通过根据其基于RS的伪标签对目标实例进行平均，形成目标域的入侵分类RS推荐。类似地，利用目标训练的RS_T向每个源类别质心推荐前N个最相似的目标实例，并将这N个建议的平均值作为每个源入侵类别的最终推荐。通过强制两个RS之间的分类推荐相似，反过来又迫使入侵域在共享特征空间中对齐，因为不对齐的特征空间只会导致不匹配的RS推荐。此外，对齐的特征还可以促进双向推荐系统更好地挖掘和匹配入侵类别兴趣，从而在训练过程中形成双推荐兴趣匹配和特征对齐相互促进的良性循环。如图2(右)所示，ABR机制最终将实现对齐良好的推荐兴趣匹配和细粒度的特征空间对齐。

ABRSI模型利用潜在语义索引（LSI）算法作为其RS。LSI在训练过程中并不需要大量数据，并且在入侵检测推理过程中计算复杂度较低。而且它已在各种推荐系统应用中得到利用，并取得了令人满意的推荐效果，因此它适合在数据稀缺和计算受限的物联网场景下使用。

B.自我改进机制

图3 伪标签投票机制

硬伪标签（Hard PL）投票：首先，ABRSI 将使用之前引入的 RS 决策来避免自信但错误的网络预测伪标签，从而违反RS挖掘的兴趣，如图3（b）所示。然后，ABRSI 将考虑与周围源实例的伪标签关系。如果相邻源实例无法达成共识，或者共识与网络预测的伪标签或RS决定的伪标签相矛盾，则该伪标签很可能位于决策边界附近，即模糊的近边界伪标签，如图 3(c)所示。因此，当源标签关系信息产生分歧时，ABRSI 将避免这种分配。最后，ABRSI 对未标记的目标实例执行无监督聚类，以揭示目标标签关系。如果目标实例的伪标签分配与其集群内对等体相矛盾，则该实例也被视为不明确的近边界实例，并将被消除，如图3（d）所示。最终，只有四票达成共识，ABRSI 才会为实例分配硬伪标签。如图3（e）所示，伪标签投票后分配的硬伪标签是高度准确的。因此，具有更高准确性的硬伪标签分配可以积极指导入侵知识转移。

混合伪标签（Hybrid PL）策略：为了解决硬伪标签会因错误分配而遭受负迁移以及没有硬伪标签协议的实例无法参与入侵知识转移的问题，ABRSI 采用了混合伪标签策略。具有四个投票者协议的实例将被分配一个硬伪标签，以促进正确和自信的预测的积极贡献。其余实例将进行概率软伪标签分配，以促进充分参与。软伪标签还丰富了多样性，解决了硬伪标签潜在关注易入侵类别而导致的多样性受损问题。本文通过使用多样性最大化损失L_DIV来改善软伪标签全局多样性，其定义如下：

使用α-Tsallis熵来提升个体软伪标签确定性，如下所示：

α-Tsallis 熵应用可调整的熵指数α。α值越高，对不确定预测的惩罚越小，反之亦然。因此，ABRSI 在α_max 和α_min 之间线性减小α，以随着训练的进行自适应地提高软伪标签的确定性。

图4 通过EKL说明SI，选择第三类作为例子

错误知识学习（EKL）：如图4所示，除第三类之外的任何概率输出都是导致歧义并可能导致入侵检测性能受损的因素。为了消除这些误差因素，ABRSI模型将其形成为一个学习过程。首先，ABRSI模型通过寻找域间概率输出的分类散度来提取错误知识。具体来说，第k个源入侵类别的概率输出定义如下:

第k个目标入侵类别的概率输出定义如下：

然后，ABRSI 模型获得概率输出之间的 k 类误差知识，即EK_(k) ，定义如下：

将类别误差知识向量 EK^(k) 和零向量EK_0送入鉴别器 D 将使鉴别器尝试尽可能多地区分它们，即尽可能多地利用误差知识，同时让特征投影器E和共享分类器C以最大程度地迷惑判别器，学习消除错误知识。一旦这种极小极大博弈达到平衡，错误知识就可以被充分利用，然后在类别级别上消除。然而，仅使用零向量 EK_0 可能无法产生对于 EKL 来说足够强的纠错信号。因此，本文进一步应用反向误差知识向量 EK_R ^(k)，通过将误差知识向量乘以负常数ψ，将散度稍微向相反方向拉伸。同时，为了进一步增强错误学习效果，输入上一轮的错误知识 φEK_P ^(k) 以防止错误知识遗忘的发生。Φ是平衡当前EKL和错误知识遗忘预防的超参数。总的来说，EKL损失定义如下：

通过让特征投影器和分类器将判别器与 EK^(K) 、 EK_0 、 EK_R 和 EK_P 混淆并以对抗方式进行这种极小极大博弈，EKL 过程形成了一个错误知识提取和消除循环，并防止错误知识遗忘，这将逐步改善入侵知识转移。

C.总体优化目标

源标签可以在入侵知识对齐过程中提供监督，其定义如下： 

其中L_CE表示交叉熵损失。ABRSI模型的总体优化目标如下：

其中ρ、γ、δ和τ是控制相应分量权重的超参数。为了实现端到端优化过程，为判别器添加了梯度反转层，该层在前向传播期间执行恒等函数的作用，并在反向传播期间反转梯度。一旦上述极小极大博弈达到平衡，入侵知识可以以细粒度的方式传递，使得共享分类器能够尽可能准确地进行入侵检测。

实验分析

（1）实验设置

本文使用深度学习框架PyTorch来实现ABRSI模型。将特征投影器实现为具有LeakyRelu激活函数的两层神经网络，并将共享分类器C和EKL判别器D实现为单层神经网络。随着训练的进行，推荐变得更加成熟，超参数ρ将从 0 线性增加到ρ_max，以逐渐强调 ABR 匹配的重要性。此外，随着训练的进展，超参数α将从α_max线性减小到α_min，以逐渐增加软伪标签个体确定性。评估指标为未标记的目标域预测精度、类别加权精度 (P)、召回率(R)、F1分数 (F) 和 ROC 曲线下面积 (A)。

（2）入侵检测性能

表1 入侵检测准确率

表1中展示了九个随机选择的任务的入侵检测准确性结果。可以看出ABRSI 模型的性能显着优于所有最先进的模型。具体来说，它比最佳比较方法 ADAR 性能高出 9.2%，展示了最好的入侵检测效果。因为ADAR方法未能使用 ABR 匹配机制，并且忽略了基于RS的伪标签分配策略的有用性。它还缺乏足够的 EKL 来促进更精细的入侵知识传输，从而导致入侵检测性能受损。

图5 精度和召回率

图 5 中展示了使用精度和召回率测量的性能，其中 x 轴和 y 轴分别表示精度和召回率。ABRSI 方法位于右上角，与其他方法相比，它有着最佳的精确度和召回率，并且性能有显著提高。最佳精度性能表明 ABRSI 标记的大多数入侵都是正确的决策，而最佳召回性能意味着 ABRSI 模型可以标记尽可能多的入侵。

（3）贡献的假设检验

图6  消融组 A–F 的假设检验

图8为显著性T检验的结果。通过显著性阈值为0.05 的显著性 T 检验，以验证每个 ABRSI 构成成分所做贡献的统计显著性。红色水平线表示显著性阈值是-log(0.05)，超出红色水平线的条形越高，该消融成分的贡献越显著。可以观察到所有条形图都显着高于红线，这表明 ABRSI 的每个组成部分所做出的贡献在统计上是健全的。

（4）超参数敏感性分析

图7 用于平衡总体优化目标中的超参数敏感性验证 

图8 其他超参数的参数敏感性验证

损失平衡超参数的参数敏感性结果如图7所示，所有其他超参数的参数敏感性如图8所示。彩色虚线表示每项任务的相应最佳基线对应值。当超参数在合理范围内变化时，ABRSI 表现出非常稳定的性能，且优于其最佳基线对应值。因此，它验证了 ABRSI 在各种超参数设置下的稳定性。在处理存在异质性的不同数据域时，所有实验都共享一组固定的超参数设置，而ABRSI模型仍能取得令人满意的结果，无需不断重置超参数，就能获得令人满意的结果。因此，这进一步证明了 ABRSI 在超参数设置方面的稳健性。

（5）入侵检测效率

表二  计算效率：每个周期的训练时间（秒）

表三  计算效率：每个实例的推理时间（毫秒）

从两个方面评估ABRSI模型的计算效率，即每个训练周期所花费的训练时间和对每个实例进行入侵检测时使用的推理时间，结果分别呈现在表二和表三中。仅与性能最佳的前2个基线模型比较计算效率。从表二可以看出，虽然ABRSI模型的训练速度不是最快的，但也没有明显慢。训练可以在计算能力强的设备上进行，因此ABRSI的训练效率是可以接受的。从表三中可以看出，ABRSI实现了最快的入侵检测速度，这证明了其在针对物联网场景进行入侵检测时的有用性。总体而言，ABRSI仅涉及相对较浅的神经网络结构，其使用的RS不是基于神经网络的，并且与其他基于神经网络的RS相比具有较低的计算复杂度。因此，ABRSI模型令人满意的计算效率使其可以部署到网络网关等设备上，因此对于现实世界的物联网入侵检测来说是实用的。

总结

在本文中将物联网入侵检测问题构建为无监督异构域适应问题，该问题从 NI 域传输丰富的入侵知识，以在数据稀缺的情况下促进更好的物联网入侵检测。首先，ABR 匹配机制匹配双向推荐兴趣，进而强制入侵特征对齐。它们可以互惠互利，形成良性循环，促进更精细的入侵知识传递。还利用了具有四个组件的 SI 机制。具体来说，硬伪标签投票机制旨在提高硬伪标签分配的准确性和多样性。混合伪标签策略引入了更好的参与和多样性，同时保留对正确预测的足够重视。软伪标签的多样性和确定性也得到共同提高，以实现全局多样性和个体确定性的软伪标签。最后，通过EKL机制来利用导致预测模糊的因素，自适应地进行错误知识利用、消除和错误知识遗忘预防。总体而言，这些组件构成了 ABRSI 模型，提高了物联网场景下的入侵检测性能。

END