【深度学习】当图网络遇上计算机视觉！计算机视觉中基于图神经网络和图Transformer的方法和最新进展

可能是目前最全面的《当图网络遇上计算机视觉》综述！近四百篇文献，覆盖五大主题 全面阐述计算机视觉中基于图神经网络和图Transformer的方法和最新进展！

A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective

论文：https://arxiv.org/abs/2209.13232

近年来，由于在图表示学习（representation learning on graphs）和非网格数据（non-grid data）上的性能优势，基于图神经网络（Graph Neural Network）的方法被广泛应用于不同问题并且显著推动了相关领域的进步，包括但不限于数据挖掘（例如，社交网络分析、推荐系统开发）、计算机视觉（例如，物体检测、点云处理）和自然语言处理（例如，关系提取、序列学习）。

考虑到图神经网络已经取得了丰硕的成果，一篇全面且详细的综述可以帮助相关研究人员掌握近年来计算机视觉中基于图神经网络的方法的进展，以及从现有论文中总结经验和产生新的想法。可惜的是，我们发现由于图神经网络在计算机视觉中应用非常广泛，现有的综述文章往往在全面性或者时效性上存在不足，因此无法很好的帮助科研人员入门和熟悉相关领域的经典方法和最新进展。同时，如何合理的组织和呈现相关的方法和应用是一个不小的挑战。

在本文中，我们首先介绍了图神经网络的发展史和最新进展，包括最常用、最经典的图神经网络和图Transformer。然后，我们以任务为导向对计算机视觉中基于图神经网络（包括图Transformer）的方法和最新进展进行了全面且详细的调研。具体来说，我们根据输入数据的模态将图神经网络在计算机视觉中的应用大致划分为五类：自然图像（二维）、视频、视觉+语言、三维数据（例如，点云）以及医学影像。在每个类别中，我们再根据视觉任务的不同对方法和应用进一步分类。

建立在自然图像（二维）上的视觉任务包括 Image Classification (multi-label、few-shot、zero-shot、transfer learning)，Object Detection，Semantic Segmentation，和 Scene Graph Generation。

建立在视频上的视觉任务包括 Video Action Recognition，Temporal Action Localization，Multi-Object Tracking，Human Motion Prediction，和 Trajectory Prediction。

视觉+语言方向的任务包括 Visual Question Answering，Visual Grounding，Image Captioning，Image-Text Matching，和 Vision-Language Navigation。

建立在三维数据上的视觉任务包括 3D Representation Learning (Point Clouds、Meshes)，3D Understanding (Point Cloud Segmentation、3D Object Detection、3D Visual Grounding)，和 3D Generation (Point Cloud Completion、3D Data Denoising、3D Reconstruction)。

建立在医学影像上的任务包括 Brain Activity Investigation，Disease Diagnosis (Brain Diseases、Chest Diseases)，Anatomy Segmentation (Brain Surfaces、Vessels、etc)。

这种以任务为导向的分类法使我们能够研究不同的基于图神经网络的方法是如何处理每个任务的，以及较为公平地比较这些方法在不同数据集上的性能。在内容上我们还涵盖了基于Transformer的图神经网络方法，和在ECCV2022上发表的相关文章。

在文章中我们指出了图神经网络在视觉任务中面临的挑战，同时也揭示了一些鲜有人研究但是很有意义的方向，例如，如何从规则网格数据中获得抽象的图结构。这篇综述不仅帮助研究人员回顾了最新的技术进展，而且还可以作为计算机视觉从业者的参考手册，方便他们对实际问题进行分类并寻找潜在的解决方案。

上面综述PDF下载

论文：https://arxiv.org/abs/2209.13232

往期精彩回顾




适合初学者入门人工智能的路线及资料下载
(图文+视频)机器学习入门系列下载
机器学习及深度学习笔记等资料打印
《统计学习方法》的代码复现专辑
机器学习交流qq群955171419，加入微信群请扫码