团队科研成果分享-41

研究背景

随着人工智能的发展，基于深度学习的旋转机械故障诊断方法正在兴起。然而，这些数据驱动的深度学习方法在很大程度上依赖于大量的标记数据，这在真实的工业场景中往往很稀缺。此外，小样本数据集使得覆盖所有故障类型变得具有挑战性。随着时间的推移，设备不断产生未知故障类型的数据。尽管如此，大多数研究都是基于闭集假设，其中训练和测试数据标签集是相同的。相反，开集假设考虑了未知类的数据。小样本加剧了未知类别的挑战。为了解决这个问题，本文提出了一种小样本开集故障分类方法。它首先通过数据匹配充分利用小样本。然后，设计了一个通用的孪生对比结构来区分数据对是否来自同一类。最后，提出了一种基于熵和置信度的开集判别器来判别未知类。

关键技术

为了应对旋转机械故障小样本开集故障分类的挑战，本文引入了一种小样本开集中故障分类（Small sample open-set fault classification, SSO-FC）框架。受Siamese网络的启发，SSO-FC通过首先构建数据对来扩展训练集。然后构建一个独立于主干的通用孪生对比（Generic Siamese contrasting, GCS）结构来提取数据对中的特征。最后，设计了一种基于熵和置信度的开集判别器（Entropy and confidence based open-set discriminator, ECOD），利用提取的特征来判别未知类。

该方法的创新和贡献如下：

1）提出了一种新的小样本开集分类问题，对实际工业场景更具价值和挑战性。它要求该方法从已知类别中正确分类样本，并在小样本的约束下区分未知类数据。

2）针对故障分类提出了一种通用的孪生对比结构。它可以使用分类损失和相似性损失在小样本下进行联合训练。同时，与主干网络无关的 GCS 使 GCS 结构具有灵活性和主干网络可插拔性。

3）提出了一种基于熵和置信度的开放集判别器，它能够判别未知的故障类别。它通过两个部分的互补得到了改进。

算法介绍

（1）数据描述

数据匹配是GCS与传统深度学习方法相比的显著特征之一。它可以有效地解决小样本的问题。设T = (x_i, y_i, l_i) ^n _{i=1}表示通过数据匹配由数据对组成的数据集，其中(x_i, y_i)为输入到GCS的第i个数据对，l_i为第i个数据对对应的标签。其中，n表示数据对的总数。如果(x_i, y_i)属于同一类，则l_i = 1;否则，l_i = 0。通过使用这种方法，通过合并初始的小样本数据可以得到大量的数据对，并且这个数量有可能组合增长。考虑到实际场景，假设可用的训练数据集中有K(K > 1)个类，每个类有M(M > 1)组数据，则数据对的个数可以计算为:

在使用GCS之前，需要构造一个支持集，记为S = (x_j, l_j) ^{K−1}_{j=0}。该支持集是从小样本数据中选择的标记的综合数据集。它包括每个类别的一个样本，由K个标记样本组成。这里，x_i是从每个类中采样的数据，l_i是其对应的标签。查询集表示为Q = {y_i}^N _{i=1}，表示待诊断的一组数据。第i个样本的结果向量表示为V_i = R_{i,0}, R_{i,1}，…， R_{i,k−1}，其中R_{i,j} = F(S_j, Q_i)，其中F表示GCS网络模型，Qi表示查询集的第i个样本，S_j为标记数据点(x_j, l_j)。由于V_i预测了测试样本和支持集中的分量属于同一类的程度，因此将Vi称为置信向量。R_i,j表示样本Qi与支持集S_j中的数据x_j的相似度，是置信向量V_i的一个组成部分。

（2）GCS结构及其原理

图1  提出的GCS架构

GCS的结构如图1所示。共享网络的两个特征提取分支共享一个骨干网，即权重共享。骨干网络可以是任何以一维信号为输入的网络。首先将数据对馈送到两个分支，然后计算相似度损失。本文选择余弦相似度作为相似度损失函数。

如果样本对标签为1，则余弦损失函数的目标是增加特征f(x)和f(y)之间的余弦相似度，从而减少类内特征差异。相反，如果标签为0，则旨在降低它们的余弦相似度，增加类间特征差异。特征提取完成后，f(x)与f(y)的特征差可下式计算：

随后，将D输入到由两层全连通网络组成的特征识别块中。特征识别输出根据与输入数据对相关联的标签产生一个交叉熵(CE)损失。总损失函数由L_CE和L_sim组成：

对每个查询样本Q_i分别进行三次诊断试验，分别使用独立构建的支持集S来保证诊断结果的可靠性，并减少选择非典型样例的影响。如果在至少两次试验中结果一致，则确诊。如果没有得到一致的结果，就重复试验，直到得到一致的结果为止。

（3）基于熵和置信度的开集鉴别器

根据信息论，香农熵表示系统内部的无序程度。它还可以描述概率事件周围的不确定性。使用pi表示结果向量V取第i个可能值的概率，H(V)越大，V的不确定性越大。V的每个分量表示查询样本Q与支持集S中对应的支持样本的相似度。它们表示输入样本与特定支持样本属于同一类的概率。

置信判别器拒绝那些低于分类阈值的V的所有组成部分的样本。同时，熵鉴别器拒绝那些具有高不确定度的样本，即使它们的V分量很高。熵鉴别器和置信度鉴别器是互补的。为了构造两个鉴别器，计算每个类的Shannon熵统计量H和V的置信统计量C，如算法1所述。

在统计层面上，未知样本的置信向量V可以看作是熵和置信度方面的离群值。对V进行基于熵和置信度的离群检测，可以实现对未知类的判别。四分位间距(IQR)规则在检测异常值方面很有用。异常值是偏离数据总体分布的个别值。IQR规则的基本思想是，如果一个数据点的值超过IQR的1.5倍，它就被认为是一个离群值。基于IQR规则和对V的分析，本文的方法统计计算训练样本中置信度向量各分量的IQR。算法2概述了识别算法。

在算法2中，只有V的预测类置信度大于下置信度界(Q_c1−1.5×IQR_c)，且熵小于上熵界(Q_e3 + 1.5× IQR_e)，才被认为是已知类。否则，它将被视为未知类。

（3）SSO-FC的框架概述

本文提出的旋转机械故障诊断方法如图2所示。首先，构造数据对扩充训练样本。其次，使用第II-B节中概述的方法对GCS骨干网进行训练，目的是区分每对数据对是否属于同一类。然后，通过GCS得到训练集的结果向量。然后，使用这些向量来推导统计置信度和熵。最后，根据算法1构造ECOD。在测试阶段，GCS接收支持集匹配的测试数据对作为输入，然后产生结果向量。然后ECOD使用结果向量来确定测试样本是否属于未知类。通过选择结果向量最大分量对应的类来确定分类结果。

图2  所提出的方法框架

实验结果

（1）实验设置

使用CWRU数据集进行测试。通过重叠采样，每个故障类有400个样本。样本长度为2048。此外，为了便于网络训练，这些样本使用归一化公式进行归一化，如(9)所示:在本文的实验中选择1D-ResNet作为GCS的主干网络，即GCS-Res。GCS-Res通过构建的数据对进行训练。鉴于机械设备主要在健康状态下运行，已知的故障类型必须包含正常条件。本文任务的实验数据集主要分为不同小样本水平的不同未知故障类型，即CWRU数据集的子集。数据集描述如表1所示。未知的类数据只出现在测试阶段。本文使用类覆盖率= n_k/n_t来表示训练阶段已知类的比例。其中，n_k为已知类的数量，n_t为测试中目标类的总数。覆盖率越高，表示未知类越多。特别是当覆盖率为1时，该任务转化为闭集分类任务。

表1  cwru数据集的子集

（2）参数选择

图3  不同交叉损失和相似度损失权重下的损失曲线

图4  不同相似度度量函数在CWRU数据集T4上的精度。

（3）实验结果

在每个子集中通过3个任务来测试所提出方法的性能。它们分别是闭集分类、全数据集分类和不同小样本水平下的未知故障判别。

图5  不同小样本水平下三个任务的实验结果。(a)闭集分类。(b)完整数据集分类。(c)开集判别。

（4）对比实验结果

为了证明GCS结构和ECOD的有效性，将其与最常用的不包括孪生分支的普通结构进行比较。普通结构方法由概率置信度CNN (Probability confidence CNN, PCCNN)表示，该方法还通过其概率置信度判别器(Probability confidence discriminator, PCD)具有开集分类能力。本文分别使用PCCNN的1DResCNN和PCCNN的原始CNN作为PCCNN和GCS的骨干网，创建了PCResN、原始PCCNN、GCS- res和GCS-CNN四个模型。PCCNN和PCResN均采用PCD作为其鉴别器，而GCS-CNN和GCS-Res采用ECOD作为其鉴别器。此外，还与另外两种最先进的开集判别算法deep compact hypersphere (DCHS)和prototype and reconstruction integrated network (PRIN)进行了比较。DCHS采用紧致超球进行开集识别。PRIN构建原型重建网络，利用相关系数判别未知类。对比结果见表2。它们对应的t-SNE可视化结果如图所示。

表2  不同样本水平下，不同方法在CWRU数据集T4上的准确率(%)

图6  在不同样本量的CWRU数据集上，比较方法提取的特征的T-SNE。(a - f) 10个样本。(g - l) 15样本。(m - r) 20个样本。(a, g, m) PCCNN。(b, h, n) GCS-CNN。(c, i, o) PCResN。(d, j, p) GCS-Res。(e, k, q) DCHS。(f, 1, r) PRIN。

总体而言，GCS-Res和GCS-CNN分别优于PCResN和PCCNN，特别是在未知故障识别任务中。此外，GCS结构比普通结构能更有效地识别未知类。原因可能是GCS结构在小样本下通过数据对匹配可以捕捉到更鲜明的特征。说明在小样本情况下，GCS结构比普通结构更具有优势。这证明了所提出的GCS结构的有效性。此外，DCHS和PRIN在样本量较少(10个样本量)时表现不佳。它们的性能随着样本数量的增加而提高，尤其是DCHS。这说明DCHS和PRIN需要大量的样本才能正常训练。

（5）消融实验

在完整的GCS- res模型的基础上，去除特定模块，构建了不含GCS结构的GCS-Res (GCS)、不含置信度判别器的GCS-Res (-Conf)、不含熵判别器的GCS-Res (-Ent)和不含相似性损失的GCS-Res (-Sim)四种模型变体。图7给出了这五种模型在闭集分类和未知故障识别任务下的比较结果。

图7  不同相似度度量函数在CWRU数据集T4上的精度。

结果表明，除GCS-Res (-GCS)模型外，其余模型在闭集分类任务中准确率基本一致，GCS-Res (-GCS)模型的准确率明显下降。GCS-Res (-Conf)和GCS-Res (-Ent)不影响闭集分类过程，去除它们不影响本任务的性能。然而，在未知故障识别任务中，各种模型的准确率都有不同程度的下降。结果表明，GCS结构和相似损失项在两种任务中都是有效的。在鉴别器中使用两个度量，熵和置信度，比使用单个度量效果更好。

总结

本文提出了一种旋转机械小样本开集故障分类框架。它建立在小样本对比特征学习和GCS分类的基础上，并结合ECOD来识别未知故障。实验表明，SSO-FC可以有效地对不同程度的小样本任务中的已知类进行分类。此外，SSO-FC可以有效地识别测试样本的未知类别。综上所述，SSO-FC为小样本场景下的开集故障分类应用提供了解决方案。