每周文章分享-145

研究背景

由于悬浮颗粒、浮游生物、光差等干扰，水下图像呈现出低对比度和细节模糊的特点。此外，因为波长相关光的衰减、折射和散射等，水下图像通常存在严重的色彩失真。近年来，为了提高水下图像的视觉质量，水下图像增强受到了广泛的关注。然而，由于以未失真图像作为参考的水下图像配对数量有限，训练针对不同退化类型的深度增强模型是很困难的。为了提高数据驱动方法的性能，须建立更有效的学习机制，从有限的训练样本资源中挖掘更丰富的监督信息。因此，该论文提出了一种新的水下图像增强网络SGUIE-Net，作者通过区域增强特征学习引入语义信息作为高级引导，以此提出语义区域增强模块，从而更好地学习具有多尺度感知的语义区域的局部增强特征。

关键技术

论文提出了一种具有语义注意引导和多尺度感知的水下图像增强网络，称为语义注意引导水下图像增强网络(SGUIE-Net)。由于水下成像退化的多样性和复杂性，仅从全局视图学习模型进行图像到图像的增强是相当困难的。在语义地图的指导下，论文提出分别学习不同语义的区域智能增强特征，并证明这些带有语义线索的区域智能增强特征可以作为对全局智能学习的有效补充。此外，SGUIE-Net为具有相同语义的不同图像提供了视觉上一致的增强。该方法的创新和贡献如下：

1）SGUIE-Net学习包含语义线索的增强特征，以帮助恢复那些在训练样本分布中不常见但与良好学习类型在语义上相关的退化。

2）SGUIE-Net具有多尺度感知能力，将其用于全局智能学习的主分支和用于区域智能学习的语义分支融合在一起，相互补充。其中，主分支用于端到端增强，同时保留原始尺度下的图像纹理细节；语义分支用于多尺度感知补充语义注意引导特征。

3）论文通过使用一些增强参考图像扩展了水下图像分割(SUIM)数据集，以此建立了一个新的比较基准SUIM-E，在多个数据集上进行了综合实验、评估和分析，验证了所提出的SGUIE-Net的良好性能。

算法介绍

（1）总体架构

图1  SGUIE-Net架构

SGUIE-Net总体结构如图1所示，它包含两个多尺度感知增强分支。主(上)分支通过包含三个残差组(RG)的级联注意感知增强模块(CAM)在原始输入尺度上工作，并嵌入语义引导特征提取和融合模块(SGF)来接收增强的多尺度特征。底部分支使用编码器-解码器结构学习具有语义注意的多尺度增强特征。它通过语义区域增强模块(SRM)构建语义增强引导，然后反馈给主干。

（2）级联注意感知增强模块

图2  CAM模块结构

为了更好地保留输入图像的局部细节以更好地恢复，作者设计了级联注意感知增强模块(CAM)作为主分支的基本结构。CAM由三组级联RG组成，它们之间有跳跃连接，如图2所示。CAM的设计是用输入图像的原始分辨率感知图像特征。因此，CAM不包含任何下采样和上采样操作，并且本模块使用的卷积层的卷积核维数(kernel size)为3，填充(padding)为1，以保持主分支过程中特征分辨率的固定，并最大限度地保留空间细节特征。

图3  RG模块结构

RG的结构如图3所示，在每个RG模块中存在4个特征注意块(FAB)。RG将四个FAB堆叠起来从而学习更高级别的特征，并使用长跳过连接来解决网络过深导致的训练困难问题。如图4，为了进一步学习描述不同像素不均匀退化的差异化注意，FAB由通道注意模块(CA)和像素注意模块(PA)组成，它们依次放置进行块残差学习。

图4  FAB模块结构

（3）语义区域增强模块

图5  SRM模块结构

由于水下成像退化的复杂性和多样性，仅从全局视图学习图像到图像的增强是困难的。高质量训练样本的稀缺性给学习全面、鲁棒的模型带来了较大的困难。为了缓解这一困境并学习多尺度特征表示，论文提出了一种用于局部增强特征学习的语义区域增强模块(SRM)，它可以有效地补充和指导主分支的全局特征，其结构如图5 所示。论文使用语义分割图将整个图像划分为语义一致的区域，用于局部增强模型的学习。通过这种方式，区域智能增强模块可以学习到具有语义关注的鲁棒局部增强特征。

SRM为在训练样本分布中不常见但与良好学习的类型在语义上相关的退化类型建立了软指导。SRM的输入是包含不同语义区域的子图像的集合，这些子图像是根据语义掩码对原始输入图像进行分割得到的。该掩码既可以手工标注，也可以使用预先训练好的水下图像语义分割模型生成。

（4）语义注意引导提取与融合

图6  SGF模块结构

SGUIE-Net中，由于CAM在原始分辨率下保留像素级空间细节和依赖关系，因此遗漏了多尺度信息，而SRM在不同的语义区域获得了丰富的多尺度语义关注信息。为了将具有区域增强特征的语义注意引导引入全局增强分支，作者设计了语义注意引导提取与融合模块(SGF)，它有三个输入：

（1）Fg，主分支的中间全局增强残差特征；

（2）Fk，SRM模块中提取的图像第k个语义区的区域增强残差特征；

（3）M，输入图像的语义分割映射。

通过SGF模块，可以将这些具有语义一致性的多尺度和区域增强特征融合到具有原始分辨率的全局特征中。这使得CAM能够在自己的本地上下文中对不同的语义区域执行独立学习。去掉图像退化的全局学习后，面向局部退化的增强特征学习变得更简单，可以做到对全局特征有效补充。

（5）损失函数

为了更好地保持增强图像的边缘和细节的清晰度，使用L2损失（均方误差损失）来同时最小化主分支和SRM增强的像素误差。因此，SGUIE-Net的总体训练损失L可表示为：

其中Lmain表示主分支预测增强与增强参考之间的像素级距离，Lsrm表示SRM的增强到区域增强参考的像素距离。SGUIE-Net以端到端方式进行训练，并将其主分支的预测作为最终的增强结果。

实验分析

总结

论文针对目前缺乏处理不同退化类型的深度增强模型的问题，提出一种基于语义注意引导和多尺度感知的水下图像增强网络SUGIE-Net。通过引入语义信息作为高级指导，论文设计了语义区域增强模块，以此弥合不常见退化类型与水下退化学习分布之间的差距。互补的双分支、多尺度特征感知架构使模型在恢复清晰的局部细节的同时获得了良好的全局增强效果。

END