【深度学习】西工大/哈工大/NTHU /CUHK提出一种异构组卷积神经网络的图像超分辨方法HGSRCNN

作者：田春伟，张艳宁，左旺孟，林嘉文，张大鹏，袁奕萱

单位：西北工业大学、空天地海一体化大数据应用技术国家工程实验室、哈尔滨工业大学、台湾国立清华大学、香港中文大学

论文链接： https://arxiv.org/abs/2209.12406

可视化Demo链接：https://user-images.githubusercontent.com/25679314/192536076-f5122657-5f8e-4d39-9490-1aee0f94ce9d.mp4

项目链接：https://github.com/hellloxiaotian/HGSRCNN

01 摘要

卷积神经网络（Convolutional Neural Networks, CNNs）已通过深度结构获得显著的图像超分辨性能。但这些CNNs对复杂场景下的图像超分辨表现出差的鲁棒性。对此，本文通过使用不同类型的结构信息来设计一个异构组卷积神经网络的图像超分辨方法（Heterogeneous group super-resolution convolutional neural network，HGSRCNN），获得高质量图像。其中，HGSRCNN的每个异构组块都由一个对称卷积块和一个互补卷积块组成的异构结构并以并行方式来增强不同通道的内部和外部的关联，促进不同类型更丰富的低频结构信息。为了防止出行冗余的特征，一个提纯信号增强块以串行工作方式来过滤无用的信息。为了防止原始信息的丢失，一个多级增强机制引导一个CNN来实现一个对称结构，提高HGSRCNN的表达能力。此外，一个并行的上采样机制用来训练一个盲超分辨模型。实验结果显示提出的HGSRCNN在定性分析和定量分析上已经获得好的超分辨性能。相关代码能在https://github.com/hellloxiaotian/HGSRCNN处被获取。

主要贡献：

02 方法

网络结构如图1所示，上采样操作如图2所示：

03 实验

本文提出的方法在Set5，Set14，B100，U100这四个基准数据上超过了很多流行的方法，如：A+、SelfEx、SRCNN和CARN-M等。更多的图像超分辨结果如表1到表4所示：

为了验证提出方法的鲁棒性，本文还在B100数据集上利用RDN，CSFM，SRFBN、CFSRCNN和CARN-M提出的方法恢复4倍高质量图像，测试提出方法的性能。如表5-7所示，虽然我们提出的模型的性能略低于RDN，CSFM和SRFBN方法，但HGSRCNN具有更低的复杂度和更快的恢复图像的速度。此外，本文还从图像质量评估的方面来测试恢复图像的效果。如表8所示，本文获得特征相似性（Feature Similarity, FSIM）比其他方法高，这说明了本文提出的方法具有较高的图像超分辨方法。

为了从视觉验证本文提出方法的优越性，本文制作不同倍数的2组可视化图像。如图3和图4所示，本文提出的方法获得更清晰的细节信息，这再次说明提出的HGSRCNN对图像超分辨任务有效。

04 结论

在本文中，我们提出一种异构组卷积神经网络的图像超分辨方法（HGSRCNN）。HGSRCNN利用异构结构以并行的方式来增强不同通道外部和内部的联系，促进更丰富的低频结构信息。考虑冗余信息的影响，一个提纯信号增强块以串行的方式来过滤无用信息。为了防止原始信息的丢失，一个多级增强机制引导CNN来实现一个对称结构，增强HGSRCNN的表达能力。此外，一个并行上采样机制用来训练一个盲超分辨模型。大量的实验被制作在四个公开的数据集上就图像超分辨性能、效率、复杂度和可视化效果等方面来验证提出的HGSRCNN的有效性。