每周文章分享-144

研究背景

图自然地表示了具有复杂关系和丰富信息的数据，如社交网络、生物网络和引文网络。基于图嵌入，可以使用经典机器学习技术来执行节点分类任务，例如为引文网络中的论文分配主题以及对生物网络中的蛋白质角色进行分类。然而，在许多场景中，数据标注成本高昂，在实际应用中往往会导致节点标签短缺。为了提高节点分类的准确性，基于图的半监督学习利用充足的未标记节点与稀缺的可用标记节点一起进行训练。然而，噪声、扰动甚至攻击在图结构数据中很常见。在半监督学习中，常见的正则化是基于同质性假设驱动连接的节点具有相同的标签。因此，图结构的关系效应可能会使模型性能恶化，因为操纵一个节点或边可能会误导关系节点的预测。为了解决这个问题，本文提出了一种对抗性正则化图注意模型来对部分标记图中新添加的节点进行分类。

关键技术

在本文中，提出了一种名为对抗性正则化图注意网络（AGAIN）的新方法，用于部分标记图的归纳学习。一方面，AGAIN使用基于注意力的聚合器将图结构和节点特征编码到节点嵌入中。在聚合邻居信息时，采用注意机制为采样的邻居分配不同的可学习权重，捕获每个邻居的重要性。在推理时，学习到的聚合器可以为以前未见过的节点生成信息表示。另一方面，对抗性训练用于通过强制节点表示与先验分布匹配来学习鲁棒的节点表示。

该方法的创新和贡献如下：

1）本文设计了第一个专门为解决部分标记图上具有挑战性的归纳学习问题的对抗性正则化 GNN 模型。

2）设计的模型结合了注意力机制和对抗训练，能够有效地生成信息丰富和鲁棒的节点表示。

3）使用现实世界的信息网络进行了大量的实验，表明所提出的模型在基准归纳节点分类任务上可以与最先进的方法相媲美甚至优于它们。

算法介绍

（1）问题定义

图1  半监督环境下的归纳学习

信息网络可以表示为一个属性图G (V, E, X)，其中V是节点的集合，E 是表示节点之间关系的边的集合，X是特征矩阵。未加权图G的拓扑结构可以表示为邻接矩阵A每个元素a_ij 设为0或1，指定两个节点之间是否存在边。如图 1所示，在本工作中，研究了新添加到部分标记图的节点的分类。节点V由标记的节点V_L和未标记节点V_U组成。部分未标记节点在训练过程中被观察到，其余节点未被观察到。在测试阶段将这些未观察到的节点添加到原始图中。

图嵌入的目的是将节点映射为一个低维嵌入向量。为了在嵌入的基础上进行节点分类，半监督学习被定义为学习一个分类器，有两种学习范式：转导学习和归纳学习。转导学习的目的只是预测图中观察到的未标记节点。归纳学习进一步寻求将分类模型推广到训练时图中不可见的节点。本文主要研究归纳式半监督学习。

此外，图嵌入模型对噪声输入的鲁棒性是一个重要问题。因此，在本研究中，假设在评估鲁棒性时输入是有噪声的。受GIB中特征攻击的启发，本文在图中随机选取一个百分比的节点，并在节点特征的每个维度上添加独立的高斯噪声。

（2）对抗性正则化图注意模型 

A.模型概述

图2  AGAIN 的模型架构

图 2 显示了所提出方法AGAIN的模型架构。有两个主要组成部分，即归纳学习和对抗性训练。具体来说，归纳学习的图注意力网络（GAIN）由 GNN 编码器 f_φ() 和节点分类器 l_ψ() 组成。GNN 编码器使用基于注意力的聚合器将输入图的拓扑信息和节点特征编码为低维节点嵌入向量。节点嵌入进一步由节点分类器（一个全连接层，后跟 softmax 激活）转换为节点标签的预测。此外，对抗性训练对节点嵌入施加了先验分布。鉴别器 d_w()旨在区分先验样本和嵌入向量，由一个多层感知器（MLP），后接 sigmoid 激活组成，指示输入样本为真实样本的概率。GNN 编码器在对抗训练中还起着生成假样本（即嵌入向量）的作用。因此，GNN 编码器由归纳学习和对抗训练组件共享。

B.归纳学习

图3  邻域采样和随后的信息聚合过程

如图3所示，在邻域采样阶段，不是考虑给定目标节点的整个邻域，而是在每个搜索深度随机采样固定大小的邻域。如果样本大小大于节点度数，则对邻居进行放回采样。采样是一个向外的过程，逐渐发现远邻。最大搜索深度表示为 K。然后节点聚合来自其采样邻居的信息。请注意，聚合是一个向内的过程。

在聚合邻居信息时，本文引入了一种注意力机制，为邻居分配不同的可学习权重，表明它们在辅助目标节点学习中的相对重要性。如图3所示，在步骤k，注意力系数的计算如下：

其中，S_v是节点v的采样领域，h_v和h_u分别表示当前节点v和目标节点u的潜在表示，a和W分别是线性变换的权重向量和矩阵，非线性激活σ_1 是一个泄漏 ReLU 函数。因此，注意力权重是节点v及其邻居节点的潜在表示在非线性变换后利用softmax函数求得的。

然后，通过注意力聚合函数导出邻域的潜在表示：

之后，将节点 v 前一个步骤的潜在表示与其领域的潜在表示输入非线性激活层，之后在进行正则化，计算得到节点 v 在步骤 k 更新的潜在表示：

最后，可以通过将嵌入向量输入节点分类器来计算预测分类。在半监督设置下，通过最小化标记节点的交叉熵损失来训练归纳学习组件。

C.对抗性训练

本文采用对抗性训练模型对嵌入向量进行正则化，以强制学习的嵌入匹配某个先验分布。该算法建立了两个参与者(生成器和鉴别器)的对抗训练平台进行极大极小博弈。在这项工作中，归纳学习阶段的GNN 编码器f_φ()扮演了生成器的角色。真实样本 z 从先验分布 P_g(z) 中采样，而编码器生成的嵌入向量被视为假样本。鉴别器d_w()是一个标准的多层感知器，其输出是一维的，后跟 sigmoid 激活，表示输入样本为真实样本的概率。本文将鉴别器和生成器的训练分开。鉴别器被训练来区分先验样本和嵌入向量，其损失函数定义为：

而生成器的目标是使节点嵌入匹配先验分布，从而误导判别器。生成器的损失函数为：

D.算法

AGAIN的训练算法首先对属性图的所有标记节点进行随机洗牌，然后将其平均划分为若干批，之后对这些批进行逐个处理。选取其中一个被选中的标记节点作为目标节点，对其邻居节点进行采样，并通过 GNN 编码器聚合邻域信息来计算其嵌入向量，然后通过分类器进行预测。基于预测和真实标签计算交叉熵损失，通过反向传播对GNN编码器和分类器的参数进行更新。在对抗训练阶段，对抗网络首先更新鉴别器来区分真实样本和嵌入向量。此外，GNN编码器作为一个发生器混淆训练有素的鉴别器并更新参数。因此，通过归纳学习和对抗训练交替更新GNN编码器的参数。

在测试阶段，由于 GNN 编码器和节点分类器是经过训练的，所以它们的可学习参数是固定的。然后将测试节点的特征和其抽样的邻居特征输入训练的模型，得到节点嵌入和预测标签。最后，基于预测标签和真实标签计算分类精度。从图 1中可以看出，在测试阶段，现有节点的局部邻域会发生变化，有新的节点加入。所提出的归纳学习模型可以处理这种情况，并计算图中所有节点的表示。

实验分析

总结

本文解决了解决部分标记图上新加入节点的分类问题。本文提出了一种对抗性正则化图注意力模型——AGAIN，该模型包括归纳学习和对抗训练两个模块。AGAIN 使用基于注意力的聚合器聚合来自其邻居的信息，为看不见的节点生成信息表示向量。并采用对抗训练通过将节点表示与先验分布进行匹配来提高模型的鲁棒性和泛化能力。实验结果表明，与最先进的方法相比，本文的方法取得了相媲美甚至更有利的性能。

END