专题解读｜动态图神经网络研究工作进展

二、相关工作

APAN: Asynchronous Propagation Attention Network for Real-time Temporal Graph Embedding (KDD 2021)

为了捕获更高阶的结构特征，大多数基于图神经网络（GNN）的算法通过整合k跳邻居信息来学习节点表示。但是，捕捉k跳邻居的高时间复杂度使得这些算法难以在巨大的密集时间网络中实现高效推理，这严重限制了图算法在特定领域（尤其是金融欺诈检测）的应用潜力。因此，这篇文章提出了异步传播注意力网络（APAN），一种异步的连续时间动态图算法，用于实时图嵌入学习。

本文提出了异步传播注意力网络（APAN），一种异步的连续时间动态图算法，用于实时时间图嵌入。与之前的图算法不同，APAN将模型推理和图计算解耦，以减轻复杂图查询操作对模型推理速度的影响。广泛的实验表明，该方法在保持竞争性能的同时，大大提高了推理速度。

APAN（异步传播注意力网络）是一个为实时时间图嵌入而设计的模型。该模型主要由三个核心部分组成：事件编码器、注意力机制和异步更新策略。首先，事件编码器负责将每个图事件（如节点或边的添加、删除）转换为一个嵌入向量。这个过程涉及到捕捉事件的类型、涉及的节点和发生的时间点等信息。然后，模型采用注意力机制来加权结合邻近事件的信息，这样可以更有效地捕捉节点间的动态交互和影响。最关键的是，APAN采用了一种异步更新策略，使得模型可以在新事件发生时立即更新节点的嵌入，而无需等待整个图的重建或更新。

这种设计使得APAN能够在动态图上实现近乎实时的嵌入更新，这对于需要快速响应的应用场景（例如金融欺诈检测）至关重要。与传统的基于图神经网络的方法相比，APAN通过解耦模型推理和图计算，显著提高了推理速度，同时保持了竞争性的性能。通过在多个数据集上的实验验证，这篇论文展示了APAN模型的有效性和实用性

FreeDyG: Frequency Enhanced Continuous-Time Dynamic Graph Model for Link Prediction (ICLR 2024 under review)

这篇工作介绍了一种名为FreeDyG的连续时间动态图模型，专为链接预测任务设计。FreeDyG通过集成频率增强的MLP-Mixer层和节点交互频率编码器，能够有效捕获周期性时间模式和频率域中的“移位”现象。与传统的时间域分析不同，FreeDyG探索频率域，从而更深入、细致地提取交互模式。通过在七个实际动态图数据集上的广泛实验，验证了FreeDyG在传导和归纳设置中优于现有方法的性能，同时展示了其有效性。

FreeDyG是一个针对动态图链接预测任务的模型。该模型主要由三个部分组成：节点/边缘编码器、时间编码器、以及节点交互频率编码器。首先，节点/边缘编码器将每个交互转换为一个嵌入序列，这一过程考虑了每个节点的历史邻居信息。接着，时间编码器捕获每个交互的时间信息，通过将时间戳映射到高维空间来实现。最关键的部分是节点交互频率编码器，它通过傅里叶变换分析节点交互模式的频率特征，并使用可学习的自适应频率滤波器来突出重要频率成分。传统的动态图模型主要关注时间域的变化，而FreeDyG通过频率域的分析，能够更深入地理解节点间交互的周期性和“移位”行为。这种方法使得FreeDyG在预测链接时不仅能考虑到时间域的动态性，还能揭示隐藏在频率域的深层模式。

FreeDyG在多个实际的动态图数据集上进行了实验，证明了其在传导和归纳设置中相比现有方法的优越性。此外，通过消融研究和超参数分析，该文进一步验证了所提出各个模块的有效性，展示了FreeDyG模型的高效性和实用性

三、总结

动态图神经网络（DGNNs）的重要性体现在它们对于理解和预测各种领域中时空演化过程的能力。与传统静态图网络不同，DGNNs 能够有效捕捉时间序列数据中的动态性和复杂交互模式。这使得它们在社交网络、金融市场、生物信息学等领域中具有重要应用。例如，APAN（异步传播注意力网络）通过解耦模型推理和图计算，显著提高推理速度，适用于需要快速响应的场景，如金融欺诈检测。FreeDyG模型则通过分析频率域中的节点交互，提高了对复杂动态图的理解。这些研究展示了DGNNs在处理实时、复杂网络数据中的强大潜力。