每周文章分享-178

水下图像增强(UIE)的目的是改善由于水下波长依赖的光吸收和散射而导致的水下图像退化的视觉质量。它在许多基于视觉的水下任务和机器人应用中发挥着重要作用。传统基于物理模型的方法由于简化光学成像模型的局限性，在复杂环境下难以准确估计传输图，造成效果不理想。基于深度学习的模型在多种环境下的处理效果显著优于传统模型，但在泛化性上仍旧是一个待解决的难题。以上问题主要由于水下场景的两个局限性：(1)域漂移:直接监督的UIE模型在推理过程中存在域漂移；(2)不平衡学习:目前流行的数据集分布不均匀。

在本文中，作者研究了流行数据集中的色谱分布。利用直方图二次中心矩(CHSCM)表示图像中R、G、B颜色通道分布的偏差和色谱分布。从中发现目前流行的数据集表现出数据分布高度不均匀，而大多数自然图像具有良好的色谱分布，这解释了直接训练的深度UIE模型的不平衡学习限制，它倾向于处理颜色分布平衡良好的水下图像。

该方法的创新和贡献如下：

1）本文对水下图像进行了统计分析，发现流行的水下数据集分布不均匀，这是第一次尝试克服现有的基于学习的UIE模型的泛化瓶颈，而不需要重新训练。

2）引入了一种新的概率色彩补偿网络(P2CNet)，该网络通过纹理和颜色的多尺度体积融合来估计水下图像中颜色的概率分布，为基于学习的方法提供了一个两阶段框架，使水下图像增强模型的输入分布变得“均匀”，提高模型泛化程度，实现“通用”的水下图像增强。

（1）数据集数据分析

作者研究了UIEB和SUIM - E数据集的图像光谱分布。使用颜色直方图二次中心矩衡量数据集中的数据分布情况，直方图二次中心矩定义如下：

式中i为颜色通道，j为N个像素中的像素指数，µi为每个颜色通道的平均像素值，为平均像素值。CHSCM可以表示图像中R、G、B颜色通道分布的偏差，作者的研究结果表明UIEB和SUIM-E数据集的水下图像显示出水下条件的不平衡，超过44%和81%的图像CHSCM值分别小于25和50，表明数据分布高度不均匀。与之对比的是水上图像数据集COCO-test2017中，在总共40670幅图像中，高达90.4%的图像CHSCM小于25。这一研究在一定程度上解释了现有基于深度学习的UIE模型存在不平衡学习限制的原因，因为模型往往倾向于处理颜色分布平衡良好的水下图像。

（2）概率色彩补偿网络 P2CNet

P2CNet总体结构如图1所示。它包括四个步骤:色彩空间转换、特征提取、多尺度概率色彩补偿和色彩空间还原，通过对水下图像颜色的概率分布进行建模，来估计水下图像的颜色补偿。

图1  P2CNet总体结构

色彩空间转换模块将RGB图像转换为Lab色彩空间；特征提取模块利用CNN分别提取颜色和纹理特征；多尺度概率色彩补偿模块采用一种概率回归的方法估计颜色补偿；色彩空间还原模块利用原始亮度通道和补偿颜色通道重建RGB图像。

A. 色彩空间转换

RGB色彩空间具有较强的物理意义，R、G和B分量与颜色和纹理信息高度相关，这使得颜色补偿具有挑战性。而Lab颜色空间提供了一个有价值的解决方案，它依赖于与人类视觉感知一致的颜色模型，这个色彩空间使用三个不同的通道来表示图像：L代表亮度，其中包含了纹理信息，a、b分量代表色彩。本文以水下色彩补偿为研究重点，因此将水下图像从RGB色彩空间转换为Lab色彩空间，将色彩通道与亮度通道的水下纹理分离。

B. 特征提取

特征提取模块分为纹理编码器和颜色编码器两大部分，它们的网络结构完全相同。编码器由四个标准卷积层组成，这些层依次堆叠以提取分层特征。本模块的每个卷积层都遵循如图2所示的结构。

图2  编码器卷积层结构

C. 多尺度概率色彩补偿

作者提出了一种新的概率体积聚集(PVA)层，主要结构如图3所示用于聚合多源特征，并利用水下颜色和纹理线索建立颜色概率分布模型。

图3  PVA层结构

在PVA层中，首先将a和b通道的颜色强度分别采样为K等分，得到离散的ab颜色强度V，然后将多源特征输入经过多层感知器和softmax函数对图中的颜色概率分布进行建模，经过颜色期望函数和上采样，得到处理完毕的ab颜色图。

在多尺度概率色彩补偿模块中，作者在每个尺度上使用一个PVA层进行多尺度体积融合，以充分模拟跨特征相互作用，并以粗到细的方式预测颜色分布。对于第一个尺度层，用颜色特征和纹理特征对粗级ab颜色图进行回归。对于第2到第4个尺度层，将前一个PVA层回归的ab色图与当前尺度层的多源特征进行连接，逐步细化颜色分布和ab色图。

D. 色彩空间还原

在色彩空间还原模块中，使用输入图像的原始亮度L和补偿得到的ab颜色图恢复RGB图像，完成图像重建。

（3）两阶段水下图像增强框架

与大多数现有的端到端UIE模型不同，本文提出的方法为基于学习的方法提供了一个两阶段框架。在这个框架中，首先利用P2CNet来补偿水下图像的颜色分布，然后应用增强技术。这种两阶段方法提供了几个好处。首先，它允许将P2CNet与现有的UIE方法集成在一起时具有显著的灵活性，在不需要再培训的情况下提高它们的性能和泛化。其次，它能够用更平衡的颜色分布来补偿水下图像，这有利于传统基于物理模型的方法，能够在复杂场景下提供高质量的传输图估计。