每周文章分享-141

研究背景

与传统场景相比，复杂的水下环境给水下物体检测带来了巨大挑战，因为在水下环境中经常会发生域转移。例如，一天中的不同时间会导致不同的光照条件，不同地区（如湖泊和海洋）的水质也有很大差异。此外，由于收集和注释水下图像非常困难，因此很难整合具有丰富领域多样性的大型水下数据集。在实际应用中，在领域多样性有限的数据集上训练的探测器要适应不断变化的水下环境是不现实的，这就导致探测器出现领域偏移。因此，大幅提高探测器对域偏移的鲁棒性是必不可少的。在野外的实际应用可以看作是一种领域泛化任务，即在一系列源域上训练模型，并在一个未见过但相关的领域上进行评估。以前的大多数工作都集中在对齐源域上，如最小化最大平均差异（MMD）和使用对抗训练。此外，目前的领域泛化工作主要集中在识别领域，很少有工作涉及检测领域。

关键技术

方法源于两个共同的假设：①增加对领域分布的采样有助于提高对领域偏移的鲁棒性。数据分布Z取决于两个先验分布：域分布D和语义内容分布S。数据集中的少量域无法代表域流形的结构，从而导致域过拟合。如果能抽取更多的域进行训练，检测器就能成功消除域偏移的影响。②理想的特征提取器会将语义内容相同的两个不同领域的特征视为等价，这是一个简单明了的想法。此外，简单地惩罚特征的方差会导致模型判别能力的下降。因此，利用余量和选择的概念，为特征的方差留出空间，以保持判别能力。

本文提出了领域混合和对比学习（DMCL）来解决水下物体检测中的领域泛化问题。首先，提出了名为“条件双边风格转换（CBST）”的风格转换模型，将水下图像从一个源域转换到另一个源域。其次，提出了特征层面上的域混合（DMX），以插值两个不同的域来合成一个新的域。CBST和DMX都增加了训练数据的域多样性。第三，提出了空间选择性边际对比（SSMC）损失，对模型学习到的特定领域特征进行正则化。最后，建立了一个新的基准S-UODAC2020。

算法介绍

提出的方法概述如图1所示。包含三个部分：CBST、DMX和SSMC损失。首先，从一个源域选择的图像被送入CBST，以转换为另一个源域。第二，由于得到了成对的图像，DMX在训练过程中被应用于特征层面，在源域构造的域凸包内采样新的域。第三，SSMC损失被应用于配对图像的特征，以规范特定领域的特征。

图1 提出方法的框架示意图

（1）有条件的双边风格转移（CBST）

水下图像的形成可以被建模为：

根据上述方程，可以得出这样的结论：水下图像I是由色彩空间上的清晰潜影J线性变换而成的。换句话说，如果两幅水下图像具有相同的清晰潜像，它们可以相互进行线性转换。因此，提出了条件性双边风格转换来合成水下图像。它从低分辨率的风格图像中学习局部仿射色彩变换，并将该变换应用于内容图像。CBST是基于最先进的逼真风格转换模型BST设计的。与BST相比，CBST有两个主要的提升。首先，任意的风格转移是不必要的，原始网络中的所有AdaIN模块被条件实例规范化（CIN）所取代。CIN可以表示为：

受区域损失的启发，引入了mask损失。风格转移可能使图像过于风格化，导致图像内容的改变。然而，如果检测器在风格化的图像上进行训练，而内容又发生了本质的变化，注释的不匹配将导致性能的极大下降。CBST的结构如图2所示。首先，低分辨率的内容图像Clow被送入VGG19，提取特征Fconv1_1、Fconv2_1、Fconv3_1和Fconv4_1。

图2 有条件双边风格转换框架

其次，Fconv1_1被送入三个连续的拼接块。每个拼接块包含一个步长为2卷积层、一个CIN和一个步长为1卷积层。此外，Fconv2_1、Fconv3_1和Fconv4_1在CIN之后分别被添加到三个拼接块的顶部路径中。在三个拼接块之后，又有两个额外的卷积层。

第三，网络被分成两条不对称的路径。学习局部颜色变换从而设置网格分辨率的全卷积局部路径。同时具有卷积层和完全连通层的全局路径考虑了特征的所有像素，以学习场景的摘要，并帮助在空间上正则化变换。结合局部特征和全局场景摘要得到颜色变换A∈R^(16×16×96)。A可被视为16×16×8双边网格，其中每个网格单元包含12个数字，3×4仿射颜色变换矩阵的每个系数对应一个数字，这意味着A_i,j,k∈R^(3×4)。

第四，将全分辨率的内容图像C送入指导图辅助网络，以获得指导图g∈R^(h×w)，并利用指导图g对双边网格进行上采样：

第五，对内容图像应用仿生变换。A_x,y可以分成一个颜色映射矩阵Am_x,y∈R^(3×3)和一个颜色偏置Ab_x,y∈R^(3×1)，颜色仿射变换可以写为：

CBST的损失函数，提出了Mask loss，以防止重要语义信息的改变：

CBST的总损失函数为：

其中L_c是内容损失，L_sa是风格损失，L_r是双边空间拉普拉斯正则器，这与BST相同。在实验中设置了超参数l_c=0.5、l_sa=1、l_r=0.015、l_mask=1。

（2）域混合（DMX）

CBST可以实现图像层面的数据增强，但在数据集提供的源域中，域的多样性仍然有限。为了进一步丰富域的多样性，可以通过在特征层面上的采样来获得数据集以外的更多域的多样性。通过CBST，可以得到原始图像I1和其对应的生成图像I2。在骨干中，I1和I2的潜在特征包含领域信息和语义信息。由于I1和I2的ground truth相同，它们的潜伏语义信息也相同，而不相关的领域信息则不同。如果I1和I2的潜在特征被内插，语义信息不变，而领域信息被内插。由于域流形在潜伏空间中比在输入空间中更加扁平，线性插值可以在域凸包内产生新的域。

详细来说，假设特征包含两部分：领域不变量特征和特定领域特征，它们被描述成：

其中F_d表示领域不变的特征，F_s表示领域特定的特征。F、F_d、F_s∈R^(H×W×C)。当水下环境发生变化时（光线变化、水质变化等），只有F_d发生变化而F_s保持不变。因此，在理想状态下，F_s足以让探测器做出正确的预测。当对两对特征进行Mixup时：

两个成对的特征具有相同的领域不变的特征。因此，语义信息是不变的，而领域信息是插值的。在实施过程中，考虑到K=[k1, k2, …, kn]是要进行Mixup的骨干层的选择。I1和I2同时被送入主干网（主流和副流）。两个流共享相同的参数。副流的特征被用来增强主流的特征。在主流中，第k层的潜在特征可以表示为：

梯度通过主流和副流进行反向传播。域混合后的特征（第k层的h_(1,k)）被用于主流并被送入检测头。

（3）空间选择性边际对角线损失

给定两幅在不同领域具有相同语义内容的图像，可以假设骨干提取的隐藏特征是相同的。利用对比学习的思想来设计空间选择性边缘对比损失（SSMC损失）。详细来说，给定原始图像I1和其对应的图像I2，空间对比损失（SC Loss）可以计算为：

然而，过于约束的正则化可能会对检测器的判别能力产生不利影响。为了解决这个问题，提出了两个解决方案。首先，选择变化较大的像素进行正则化。因此，提出了空间选择性对比损失（SSC损失）：

kMaxpooling定义为：

其次，空间选择性边际对比损失（SSMC损失）的设计是为了使空间方差的期望值位于指定的边际d内，而不是接近于零

所提出的SSMC损失可以使特定领域的像素正规化，但允许保留网络的辨别能力的空间。图3显示了SSMC的流程。总之，提出的方法的总损失函数可以计算为：

图3 SSMC损失示意图

实验分析

总结

这篇文章介绍了一种新颖的水下目标检测的域泛化方法，它能够在不同的水下环境中实现高效的目标检测。文章的核心思想是利用风格迁移模型、域混合和对比学习，来增强模型的域多样性和域不变性。文章还提供了一个水下目标检测的域泛化基准数据集，用于评估和比较不同的域泛化方法。文章的实验结果表明，所提出的方法在水下目标检测和物体识别的域泛化任务上都取得了优异的性能，超越了其他的域泛化方法。这篇文章对于水下目标检测的研究和应用具有重要的意义和价值。

END