每周文章分享-87

背景介绍

关键技术

算法介绍

1. 部分特征对齐

图2 提出的RFAL GAN架构

如图2所示，提出的TSCDA框架有两个相互依赖的模块：部分特征对齐模块和目标特定分类器学习模块。

由于源离群域的存在严重误导了源域和目标域之间知识的迁移，本文方法的首要目标就是要识别并分辨出源共享域和源离群域然后把源离群域的样本过滤掉。它由一个软权重向量获得，这个软权重向量计算为目标样本在源分类器C1上的概率输出：

由此，Wi的值越大表示源域中的第i类在目标域中出现的概率越大。损失函数可以写为：

通过这种方法，SWMMD部分地对齐了源共享域和目标域的特征分布从而解决了域偏移的问题，因此有效地提高源共享域的正向迁移，减少了源离群域的负迁移。

2. 目标特定分类器学习 

为了每个类别在训练源分类器中的重要性，本文使用w来重新度量交叉熵损失函数。在加权和监督的学习阶段，高概率的类别给予更大的权重，目标域中没有的类给予更小的权重。加权的交叉熵损失表示为：

在这样的设置下，源分类器会更加关注源共享域中的类别并且可以部分地解决标签空间的偏移。

由于分类器偏移的问题，源分类对于目标域来说可能是次优的，因此本文旨在学习一个目标特定的分类器。本文使用源分类器C1来标记目标样本，因为它在大多数目标样本上表现都很好。为了获得可靠的伪标签，本文进行了一个限制，由C1预测的目标样本的置信度需要超过一个阈值v：

因此，当目标样本超过本文设置地阈值时就会贴上伪标签。根据伪标签，目标域将会被分为两个不相交的子集合，即有伪标签得目标集和无伪标签的目标集。

对于有伪标签的目标域，再次用交叉熵损失来训练目标特定的分类器C2，损失函数表示为：

由于目标分类器C2仅仅是在有伪标签目标集上训练的，当分类器在此集合上过拟合时，无伪标签目标集中的样本很可能被错误地分类，如图3所示。为了提高目标分类器C2的泛化性能，本文提出了包含一致性正则项的辅助分类器C3。不一致性损失被用来最小化分类器C2和C3输出的预测类别的均值差异。

 图3 PEAL的工作原理

C2与C3之间的学习过程可以看作同伴间的交流和交换，这个模块可以称之为PEAL，它们在减少不一致性损失上扮演着相似的角色。一致性正则化项促使目标特定分类器C2和辅助分类器C3去互相学习。通过这种方式，他们的决策边界走向一致并且最后达到一个平衡。在这时，C2和C3是互相竞争和同化的。但是，与先前的状态相比，C2的泛化性能得到了改善。此外，不一致性损失促使坐落在决策边界上矛盾区域内的目标样本向目标域中支持他们的类别移动，这样就会进一步改善了分类器的鉴别能力。

综上所述，分类损失使得TSCDA学习一个有着特征判别表示的源分类器和目标特定分类器。不一致性损失促进了目标特定分类器去消除有伪标签目标集上的过拟合问题。部分特征对齐损失控制了源离群域和目标域之间的负迁移问题。最后TSCDA的目标函数就是：

3. TSCDA训练流程

首先，在预训练阶段使用源域数据来训练特征提取器F和源分类器C1，通过交叉熵损失使得源分类器更加关注源共享域中的类别。然后，将源域数据和目标域数据同时输入进网络，再次训练特征提取器F和源分类器C1，通过SWDDM损失部分地对齐源域和目标域的特征分布。此时，源分类器C1会对目标样本进行标记生成伪标签。用目标域数据和伪标签目标数据通过交叉熵损失来训练目标特定分类器C2。同时，为了兼顾C2在无伪标签目标样本的分类性能，引入辅助分类器C3，通过最小化目标分类器C2和辅助分类器C3的一致性损失来提高C2的泛化性能。最后，更新源样本的权重w。重复以上步骤直至收敛为止。

1. 仿真参数设置

 图4 实验中所使用的图像样本

如图4所示，本文在三个数据集上进行了实验，通过与一些最先进的UDA和PDA方法进比较，来评估提出的TSCDA的有效性。所有实验都在无监督的PDA设置中进行。按照标准协议，本文使用所有标记的源数据和所有未标记的目标数据在PyTorch平台上进行实验。采用在ImageNet上预训练的ResNet-50模型作为初始特征提取器F。SWMMD被放置在特征提取器F的最后一层，并且SWMMD的权重在每个轮次中被更新。带宽为1的高斯核用于计算SWMMD。分类器C1、C2和C3共享相同的架构，将两个全连接层（2048-512-ω）放置在特征提取器F上，其中ω是源域类别的数量。分类器最初配备有高斯分布N（0，0.05），激活函数为LeakyReLU，斜率为0.2。

2. 结果与分析

本文使用三种变体进行消融研究，即TSCDA-v1、TSCDA-v2和TSCDA-v3，它们分别通过从TSCDA中减去目标特定分类器学习模块、PEAL模块和SWMMD模块而构建。TSCDA的损失函数包含四种不同的损失，即源域上的交叉熵分类损失、部分特征对齐的SWMMD损失、目标域上的分类损失和不一致性损失。为了验证目标特定分类器学习模块的作用，本文使用TSCDA-v1进行消融研究，该变体通过从TSCDA中消除损失LtCE和Lcon而构建。为了说明PEAL的作用，我们使用变体TSCDA-v2进行消融研究，该变体仅通过消除不一致性损失LCon构建。为了说明部分特征对齐的作用，对TSCDA-v3变体进行了消融研究，该变体是通过消除SWMMD损失而构建的。

表1 TSCDA不同任务上消融研究的准确性

可以发现，目标特定分类器学习模块在学习目标特定分类器和处理分类器偏移问题上效果不错。TSCDA-v2的分类性能高于TSCDA-v1，低于TSCDA。这进一步表明了目标特定分类器学习模块和PEAL的有效性。除Pr→Cl外，TSCDA在11项任务上优于TSCDA-v3。这表明SWMMD可以通过给源异常值类分配小的权重来促进TSCDA摆脱负迁移。

为了更好地理解TSCDA，本文对TSCDA的前适应和后适应特征进行了t-SNE特征可视化，如图5所示。为了确保可以观察到类级对齐，本文对来自不同类的样本使用不同形状，对不同域使用不同颜色。任务A→W带有十个共享类用于演示。左图显示了仅在源域上训练的ResNet-50获得的特征，而右图显示了TSCDA获得的特征。

顶行显示了在域级别注释的样本，即源共享域、源异常域和目标域。正如我们所看到的，在适应之前，源域和目标域的特征是高度混合的。很难区分目标域中更接近源共享域或源异常域的样本。结果，很容易发生负迁移，即目标数据被映射到源异常域的特征空间，然后，域自适应性能退化。然而，在TSCDA获得的特征空间中，我们观察到目标特征高度适应源共享域的特征。结果表明，TSCDA可以有效地解决标签空间偏移的问题，以获得目标域的可靠决策边界。此外，源离群域中的类比自适应前的类更紧凑。关注目标域中出现的类，而忽略源异常值，这对我们很有帮助。

为了显示类级对齐结果，第二行只显示了共享类中的示例。我们可以看到，大多数样本都是正确排列的，不同类别之间的差距比适应前更大。从这个角度来看，它验证了TSCDA在处理PDA任务的分类器移位和负迁移问题方面的有效性。

图5 t-SNE特征可视化

在TSCDA方法中，本文设计了三个不同的分类器，即源分类器C1、目标分类器C2和辅助分类器C3。为了显示不同分类器的作用，本文评估了不同分类器在Office-31数据集上的四个困难任务（即A→D、 D→A和W→A） 实验结果如表2所示。我们观察到C2和C3的性能明显优于C1，这验证了本文的动机，即源分类器对于PDA任务中的目标域是次优的。同时，C2和C3实现了相似的高分类精度，这表明PEAL允许目标分类器和辅助分类器相互学习，并使分类器对目标域更有辨别力。C2和C3都可以用作最终目标域分类器。

表2 不同分类器的分类精度

 本文为展示C2和C3在学习期间和学习后的表现进一步进行了研究。图6显示了不同训练策略的分类准确度，即一个学习C2和C3，而另一个学习仅使用C2。图6（a）显示了任务A→W 的结果，图6（b）显示了任务Ar→Pr的结果。当在PEAL模块中使用C3时，我们可以看到C2的结果在迭代开始时高于C3的结果，但很快它们开始相互接近并收敛到相同的分类精度。相反，当从PEAL中移除C3时，图6中“C2（w/o C3）”所示的C2精度无法达到通过其他方式获得的高水平。因此，验证了C3在提高最终分类性能中的作用。

图6 C3在分类性能中的作用 （a）A→W（b）Ar→Pr

本文提出了一种解决PDA问题的新方法。以前的方法没有考虑基本的分类器偏移场景，它们只是共享并使用源分类器来直接测试目标域中的样本。这些对于PDA任务来说显然是次优的。所提出的TSCDA不仅可以通过与SWMMD的部分特征对齐来处理源离群域和目标域之间的负迁移，还可以通过学习目标特定分类器来解决分类器偏移的问题。特别地，PEAL模块使得特征在共享特征空间中分布紧凑。因此，对于学习目标域更具鉴别性的决策边界是有帮助的。综合实验和比较表明，TSCDA在PDA问题上达到了最先进的性能。

-END-