每周文章分享-169

故障诊断是传感器技术领域内发展起来的一门学科。传感器通过提供各种系统参数的数据，如温度、压力、振动、电信号和流体流动，在现代故障诊断中发挥着至关重要的作用。尽管CNN的快速发展导致了更深层次的网络，并取得了比浅层网络更好的性能，但它们存在着计算和存储要求高的问题，并且由于容量过大而容易出现过拟合和泛化问题。知识蒸馏是一种模型压缩技术，它涉及将知识从较大的模型转移到较小的模型，可以在保持模型准确性的同时，显著降低轴承故障诊断模型的规模和复杂性。此外，智能故障诊断领域的主要挑战之一是训练数据有限，无法有效地训练深度学习模型，训练不足的教师网络对学生网络的贡献有限，从而难以实现有效的知识蒸馏以进行模型压缩。

鉴于目前还没有一种综合的故障诊断方法能够有效地解决有限样本和过多模型参数带来的挑战，该研究提出了一种新的轴承故障诊断方法，称为小样本DTAKD(SS-DTAKD)，该方法利用了GaN显著的模拟能力和知识提取提供的可压缩性。

本研究的主要贡献如下：

1）提出了一种基于知识蒸馏和遗传算法的融合框架。GAN用于扩展训练数据集和缓解数据稀缺性，而知识蒸馏用于压缩CNN以实现与嵌入式设备的兼容。

2）提出了一种改进的传统GaN，即SGAN。将自注意模块集成到生成器和鉴别器中，使用分配的权重和敏感信息选择来评估特征，从而生成更清晰、更准确的图像。

3）提出一种密集连接的蒸馏方法，利用每个上层网络依次训练下层网络。此方法提高了诊断模型的性能，同时确保学生网络参数保持不变。

4）为了提高知识提炼过程后的学生网络性能，提出了基于DDHT方法。通过去除底层参数的合成数据来训练学生网络，然后需要较少的实际数据来训练这些底层。

介绍了提出的SS-DTAKD方法，流程图如图1所示。首先，在信号到图像的过程中对数据进行预处理。接下来，提出的SGAN（自注意生成对抗网络）使用实际数据提供合成数据。然后，采用密集连接策略，构建教师模型、多个助手模型和学生模型，以提高DTAKD（密集教师辅助知识蒸馏）的知识蒸馏效率。最后，将DDHT（双类型数据分层训练）方法应用到学生网络中完成微调。

图1  SS-DTAKD方法的流程图

1）数据预处理

本研究采用连续小波变换(continuous wavelet transform, CWT)进行时频数据转换，具体方法。CWT生成的图像包含了原始信号完整的时频域信息，避免了信息丢失。CWT的定义如下:

采用峰值信噪比（PSNR）作为评价指标来确定最佳的采样点。PSNR (dB)的公式如下:

其中MSE表示当前图像的均方误差，B表示每像素的位数。然后，分别使用两类故障图像计算PSNR值，如图2所示。项—PSNR表示PSNR值的加权平均值，表示不同类型数据之间的相似度。

图2  多教师知识蒸馏方法的推理过程

2）合成数据生成

因此合成的图像可能会丢失一些关键信息。自注意机制旨在分配信息最多的特征，同时抑制不必要的特征，可以捕获样本之间的局部相互依存关系。自注意模块的框架如图3所示。

图3  适用于大尺寸图像的重叠切割

矩阵Q、K、V是一个输入输出序列的查询、键和值的集合，定义如下:

Wq, Wk, Wv表示学习到的线性运算。dk是键向量维数的平方根。T是矩阵K的转置。

本研究首先构建了一个具有五层卷积结构的DCGAN（深度卷积生成对抗网络），如表1所示。鉴别器由四个卷积层和一个FC层组成。使用BN对每个卷积层的输出进行归一化，并使用斜率为0.2的LeakyReLU作为激活函数。最后，利用sigmoid或Softmax函数构成一个二值分类问题。生成器由一个FC层和四个反卷积层组成。生成器中使用BN和ReLU，输出层使用Tanh函数作为激活函数。

表1  标准DCGAN的体系结构

然后，将自关注模块插入鉴别器和生成器，即SGAN，如图4所示。传统的卷积运算只能提取样本的局部特征，而高阶乘子的自关注模块可以增强样本之间的全局关系。因此，集成自关注模块的DCGAN可以提取更重要的特征。然后，用交替优化方法迭代训练鉴别器和生成器，直到达到纳什均衡。

图4  SGAN网络体系结构

3）密集教师辅助知识蒸馏

本研究提出了一种知识可转移性更强的集成知识蒸馏框架，称为DTAKD。如图5所示，DTAKD并不是简单地依靠教师网络来引导学生网络，而是增加了几个助教网络，并加强了它们之间的联系。假设图中的每个网络由输入层、卷积层、FC层和逻辑层组成。箭头表示蒸馏的运动方向。例如，红色箭头表示教师网络将其知识转移到所有教师助理和学生网络。助教网络(缩写为TA1, TA2，…)， TAn)比不同层的教师网络(简称为T)要小。

图5  DTAKD的基本结构

首先，从T中提取TA1，因此TA1的损耗可以表示为：

式中T→TA1表示从T到TA1的蒸馏过程。然后，TA2由TA1和T蒸馏而成：

最后，学生网络(缩写为S)将从TA1、TA2、. . . . . .、TAn和t中提炼出来。S的损失计算如下:

其中S使用从TA1到TAn和T的提炼知识来指导。利用(3)，(16)可表示为:

为简单起见，假设αi与α值相同，总损失的一般形式推导为:

学生网络S从每个助教网络TA和教师网络T中提取知识。然后，这些TA网络受到每个上层TA和T的影响。因此，S试图模拟从较大的T到较小的TA的各种logit逻辑分布，从而提高蒸馏效率。下面的算法1描述了本研究中DTAKD的伪代码。

4) SS-DTAKD（小样本DTAKD）的DDHT（双类型数据分层训练）方法和结构

本文开发了SGAN，以生成足够的训练数据，并增强DTAKD的知识蒸馏。然而，实际数据往往被忽略，没有参与到训练过程中，阻碍了学生网络的进一步优化。为了解决这个问题，提出了DDHT方法并将其整合到整个框架中。

本文提出的SS-DTAKD方法的总体流程如图6所示。首先，从试验台采集的信号被切割成信号段。PSNR-CWT用于将信号片段转换为时频图像。其次，SGAN用这些图像(实际数据)生成大量合成数据。第三，DTAKD在师生网络中插入几个中等规模的助教网络。需要强调的是，合成数据是用来训练所有网络的。之后，每个上层网络对所有下层网络执行蒸馏过程，用不同的颜色线表示。最后，采用DDHT方法冻结学生网络上层的参数，去除底层的参数，然后在实际数据上进行训练。

图6  SS-DTAKD的总体架构