每周文章分享-192

网络与安全实验室

水下成像在水下传感中起着重要的作用，提供有价值的信息，帮助人类更好地了解海底深处的秘密。然而，在复杂的水下环境中，很难捕捉到高质量的图像。事实上，浑浊度、光衰减、水压、水流和环境障碍都会影响图像的质量。因此，对水下图像的质量进行评价是至关重要的。一般来说，图像质量评价包括主观和客观两种方法。由于大多数图像的最终接收者是人类，因此主观评价被认为是最准确、最可信的IQA方法。然而，主观的IQA有明显的缺点，包括高复杂性、高成本和无法集成到实际应用程序系统中。一般来说，红色和黄色波长的光被吸收得更多，而蓝色和绿色波长的光可以穿透得更远，导致水下的颜色呈现蓝绿色。因此，考虑到水下成像的特点，有必要提出水下IQA (UIQA)方法。

本文提出了一种基于多尺度和对抗性能量分布的新型NR UIQA，称为MSAEQA。具体而言，通过高斯-拉普拉斯金字塔分解，将水下图像分解为多尺度高频(拉普拉斯金字塔)和多尺度低频(拉普拉斯插值金字塔)。由于不同波长的光在水中的衰减不同，水下图像通常会出现偏色。考虑到这一点，本文构造了拉普拉斯插值金字塔上的最大色度映射来表示色偏。提出了最大色度图的统计分布作为多尺度最大色度统计特征。此外，水下环境中的散射导致图像轮廓模糊，对比度和清晰度降低。利用拉普拉斯金字塔上的加权拉普拉斯局部二值模式(LBPs)和定向梯度直方图(HOG)特征作为质量感知特征，在多尺度下捕获水下图像的结构和纹理特征。最后，在CIELab色彩空间中进行三通道奇异值分解(SVD)，利用威布尔分布对SVD分解的能量分布进行建模，表示水下对抗能量的分布统计特征。拟议的MSAEQA的贡献如下。

该方法的创新和贡献如下：

1）考虑到多尺度模型的优越性，多尺度模型可以提高精度，更好地分析结构细节。结合水下成像的特点，提取了拉普拉斯金字塔分解和拉普拉斯插值金字塔的质量感知特征。

2）考虑到水下图像由于水中不同波长的光衰减不同，通常会出现偏色，在拉普拉斯插值金字塔上构造最大色度图来表示偏色。提出了最大色度图的统计分布作为多尺度最大色度统计特征。

3）考虑到对手颜色空间对色度的感知能力强，采用Weibull分布对CIELab颜色空间中对手通道SVD的能量分布进行建模，表示对抗性能量分布的统计特征。

本文提出了一种新的基于多尺度和拮抗能量分布的NR UIQA方法，即MSAEQA，如图1所示。由于图像金字塔可以将原始图像分解为不同的空间频带，因此可以在不同频带和不同分解层的细节处使用不同的算子进行更有针对性的算法优化处理。通过高斯-拉普拉斯金字塔分解，将水下图像分解为多尺度高频(拉普拉斯金字塔)和多尺度低频(拉普拉斯插值金字塔)。

图1 提出的MSAEQA方法流程图

（1）水下最大色度的多尺度统计特征

通过在IQA中结合多尺度信息提取的特征与人类感知评价的相关性增强。因此，通过高斯-拉普拉斯金字塔分解(层数为三层)，将水下图像分解为多尺度高频(拉普拉斯金字塔)和多尺度低频(拉普拉斯插值金字塔)。颜色特征包含在低频内，提取了拉普拉斯插值金字塔上的多尺度色度特征。在水下环境中，不同波长的光有不同的衰减速率。由于红色分量衰减最严重，所以捕获图像的红色分量基本很小，而蓝绿通道的信息相对更完整。因此水下图像呈现蓝绿色色调，如图2所示。为了成功地捕获水下图像中的色偏，可以在最大色度图上识别水下图像的颜色统计特征。最大色度映射ID可以定义如下：

由于最大色度图反映了水下成像的特征，因此可以从最大色度图中提取统计特征。平均减去对比度归一化(MSCN) ID,MSCN定义如下：

其中c为防止分母除零的常数，µ和σ分别表示均值和方差，定义如下：

从图2可以看出，从最大色度图出发的MSCN统计分析可以更好地代表不同质量水下图像的统计偏差。具体来看，图2(b)中，水下图像的MSCN系数分布方差随着失真程度的增加并没有明显的规律。然而，从图2(c)可以看出，最大色度图的MSCN方差随着失真程度的增加而减小。

图2 从MSCN统计分析得到最大色度图

1）GGD特征提取

调用GGD对最大色度图进行建模，均值为零的GGD定义如下：

其中，GGD包含两个参数:α决定分布“形状”，σ2表示方差。提取了三个尺度(拉普拉斯插值金字塔)的GGD参数(α，σ2)作为统计特征。

2）AGGD特征提取

相邻最大色度图的乘积分布是不对称的，因此可以调用AGGD进行建模，均值为零的AGGD定义如下：

在最大色度图的四个相邻方向(水平、垂直、大对角线和小对角线)的内积上进行AGGD建模。将三个尺度(拉普拉斯插值金字塔)上每个方向的4个拟合参数作为统计特征。

（2）多尺度水下纹理和结构特征

对比最低分辨率和最高分辨率的拉普拉斯图，从图3中可以发现，低分辨率关注的是接近基本细节的细节，而高分辨率关注的是更精细的细节。因此，需要提取基于多尺度拉普拉斯金字塔的多尺度纹理和结构特征。

图3 相同比例尺的最高分辨率拉普拉斯图和最低分辨率拉普拉斯图。(a)原始图像。(b)最高分辨率拉普拉斯地图。(c)最低分辨率拉普拉斯图。

1）多尺度拉普拉斯加权LBP特征：LBP算子通常用于描述空间分布，它指定像素与其周围像素之间的关联。LBP可以有效地描述图像的局部纹理信息，可被定义为：

由于存储和计算的复杂性，通过引入旋转不变的均匀LBP模式来降低特征维数，从而改进了LBP，其定义为：

LBP可以有效地捕获图像的局部纹理信息，拉普拉斯金字塔图像显示图像的纹理细节。因此，对拉普拉斯图像的直方图进行统计归一化作为权重可以更好地反映纹理细节。然后，拉普拉斯加权LBP直方图定义如下：

图4 拉普拉斯加权LBP直方图

2）多尺度HOG特征：我们选择HOG作为水下图像的结构特征来捕捉水下图像的结构信息。HOG描述符是指梯度大小或边缘方向的分布可以定义图像中局部物体的外观和形式。水下图像的结构特征在这里由最高分辨率拉普拉斯金字塔图像恢复的HOG表示。为了限制光的影响，必须在提取HOG之前对图像进行归一化处理。采用伽马校正，定义如下:

接下来，将图像分成以块为单位的单元格，计算不同方向的梯度。

其中水平梯度Gh和垂直梯度Gv可以定义为：

通过插值，将梯度强度映射到不同的梯度方向范围，最终得到包含9个值的梯度直方图。由于梯度强度的范围较大，在加工过程中需要对梯度强度进行归一化处理。归一化可以定义为

特征向量由块内细胞的梯度直方图拼接而成。最后，所有块的平均值对应的HOG特征可以计算如下:

图5显示了HOG直方图的统计分析结果。可以发现，在不同MOS值下，最大分辨率拉普拉斯HOG直方图的分布有显著差异，说明提取的特征能够很好地感知水下图像的质量。

图5 HOG直方图的统计分析

（3）拮抗能量的统计分布特征

水下图像往往存在色彩失真，而水下图像增强与恢复(UIER)方法对色彩模型的校正能力是不同的。因此，提取有效的色度特征对于识别视觉QUI非常重要。由于RGB颜色空间之间的高度相关性，它们不适合用于颜色特征提取。CIELab均匀色空间比其他均匀色空间提供了更好的一致性和与人类视觉感知的联系。因此，选择CIELab色彩空间表明这些特征更适合评估UIQ。CIEXYZ是所有其他配色方案的基础。它采用红、绿、蓝作为主要颜色，所有其他颜色都是从这些颜色衍生出来的。CIEXYZ与RGB色彩空间的转换关系如下:

CIELab色彩空间(对手空间)是由CIEXYZ导出的一种相对色彩空间。CIELab色彩空间可以定义如下:

CIELab色彩空间(对手空间)是由CIEXYZ导出的一种相对色彩空间。CIELab色彩空间的定义如下:考虑到对手空间对色彩的感知能力较强，采用Weibull分布对CIELab色彩空间中对手通道SVD的能量分布进行建模。具体流程如下。SVD是一种常用的矩阵分析方法，广泛应用于图像压缩、稀疏表示和IQA等领域。对于水下图像I，其SVD可以表示为:

如图6所示，在CIELAB空间中对三个通道进行SVD后，矩阵S奇异值的变化趋势。观察图中三个通道奇异值的变化趋势可以发现，MOS值越大，能值变化趋势图越陡峭，可以很好地区分不同的QUI。

图6 亮度通道和对抗性通道特征值的变化趋势

（1）数据集和评价方法

USRD Database、UWIQA Database、UID2021 Database。为了量化客观IQA方法的预测性能，采用Spearman秩序相关系数(SROCC)、Pearson线性相关系数(PLCC)和均方根误差(RMSE)三个统计指标。这三个指标是在客观IQA方法给出的主观得分和真实值主观得分之间计算得出的。

（2）水下图像性能评价

图7显示了不同UIQA的MOS与预测质量分数的散点图。可以发现，所提出的MSAEQA方法的散点图显示出最高的相关性，并且最集中在对角线上，这表明MSAEQA预测最接近人类对IUQ的感知。这进一步证明了所提出的MSAEQA方法优于其他UIQA方法的有效性。

图7 MOS和不同IQA方法的散点图

图8所示为三种UIER方法得到的水下图像的退化和增强结果。从原始图像的MOS值可以发现，CBF在图像1、2、4中具有更好的可视化效果。L2UWE在图3中产生更好的可视化效果。同样，对于图像4,UIQM也显示出UTV方法的最佳性能。

图8 第一行显示原始水下图像。第二行显示了使用L2UWE增强的水下图像。第三行显示使用UTV增强的水下图像。第四行是使用CBF增强的水下图像

表1显示了不同方法在USRD数据集上的定量结果。与这些常用的IQA方法相比，MSAEQA方法的SROCC和PLCC值最高，RMSE相对较低，与人类视觉感知的一致性较好。具体而言，与通用IQA方法相比，MSAEQA的PLCC接近0.8902，比最佳通用IQA (ILNIQE)方法提高21.4%，同样，MSAEQA的SRCC接近0.8790，比ILNIQE方法提高23.4%。与对比度变化IQA方法相比，MSAEQA的PLCC以18.5%的增益接近最佳对比度增强IQA (NIQMC)方法。同样，MSAEQA的SROCC比NIQMC高21.9%。MSAEQA比传统的除雾IQA (VDA-DQA)方法的PLCC高42.3%。同样，MSAEQA的SROCC收敛到比VDA-DQA高43.7%。与水下特定的IQA方法相比，MSAEQA的PLCC比最佳水下IQA (FDUW)方法收敛到11.5%的增益。同样，MSAEQA的SROCC比FDUW高13.7%。显然，需要一种专门为水下图像设计的UIQA方法。

表1 不同IQA方法在USRD数据库上的性能比较

提出了一种基于多尺度特征和拮抗能量分布的NR UIQA方法，即MSAEQA。考虑到不同波长的光在水中的外部衰减通常会导致水下图像的偏色，在拉普拉斯金字塔上构造一个最大色度图来表示偏色。提出了最大色度图的统计分布作为最大色度图的多尺度水下统计特征。此外，考虑到水下图像的结构和纹理是重要的属性，提取多尺度拉普拉斯加权LBP和多尺度HOG特征作为优质感知特征，捕获多尺度水下结构和纹理统计特征。最后，在CIELab色彩空间中，构建Weibull分布，模拟表示水下对抗能量分布统计的SVD能量分布。