专题解读 | 语言模型如何提升图学习：通用图基础模型新进展

随着基础模型在自然语言和计算机视觉领域的突破，图学习仍面临跨领域泛化能力弱、任务迁移困难等挑战。本文介绍两项最新研究，GOFA 通过融合语言模型和图神经网络，实现生成式图语言建模，增强模型的图结构理解能力；UniGraph 采用文本属性图作为统一表示方式，结合自监督学习和指令微调，提升跨任务和跨领域的迁移能力。这些研究为构建通用图基础模型提供了新的思路。

当前，图数据的复杂性和多样性使得构建通用的图基础模型（GFM）面临重大挑战。与文本和图像数据不同，图数据缺乏固定的结构，导致现有的模型要么能够处理广泛任务但无法充分利用图的结构信息，要么能捕捉图结构但难以泛化到不同任务和领域。如何在保持任务灵活性的同时，确保模型具备对图结构的深刻理解，成为图基础模型研究的核心问题。此外，如何让模型在无需人工标注的情况下进行高效学习，并具备在未知图数据上执行任务的能力，也是当前研究亟待解决的问题。

GOFA 采用了一种融合语言模型与图神经网络的架构，实现对文本语义和图结构的协同建模。模型首先将图中节点和边的文本信息与记忆标记拼接，并输入图语言编码器进行处理。在编码过程中，图神经网络层被交错嵌入到语言模型的压缩层中，使得语言模型生成的记忆标记可作为图神经网络的节点和边特征，并用于局部信息传播。最终，这些记忆标记用于模型解码器训练，以提升模型的稳定性和泛化能力。

GOFA 采用统一任务表示方式，通过在图中引入查询节点（NOG）来表示不同类型的任务，并将所有任务转换为基于 k 跳子图的推理问题。这样，模型能够在统一的任务空间中学习，从而具备对未见任务的泛化能力。此外，GOFA 进行了大规模自监督预训练，涵盖四类任务：（1）句子补全任务，训练模型根据节点文本和周围图结构预测缺失文本，以支持大规模无标注学习；（2）结构理解任务，通过计算最短路径和共同邻居增强模型的结构建模能力；（3）问答任务，将自然语言问答转换为链式图结构，使模型具备自由形式的问答生成能力；（4）信息检索任务，通过查询目标节点的信息强化模型的信息提取能力。这些预训练任务使 GOFA 具备强大的图理解和泛化能力，能够在各种下游任务中高效应用。

本文通过一系列实验评估 GOFA 在图语言建模、零样本学习等方面的表现，结果显示 GOFA 在多个方面均优于现有的 LLM 和图基础模型。

GOFA 通过自监督预训练任务提升了对图结构和语言的联合建模能力。

实验评估了 GOFA 在多个未见任务上的零样本学习能力。

GOFA 在多个图任务中与 LLM 进行比较，结果显示 GOFA 在准确率和计算效率方面均具有显著优势。

当前的图学习方法主要针对特定任务或数据集进行优化，缺乏跨任务和跨领域的泛化能力，这主要源于图结构的复杂性和不同图数据之间特征与标签的不一致性。本文研究如何利用文本作为统一的表示方式，使不同类型的图数据能够在同一模型框架下学习，同时设计高效的自监督预训练方法，使模型无需人工标注即可学习通用的图表示。此外，本文还探索如何使模型具备零样本学习能力，在未见的数据和任务上进行有效推理，从而推动图基础模型的发展。

本文利用锚点节点（Anchor Nodes）和上下文子图（Contextual Subgraphs）构建通用映射函数，实现节点级、边级和图级任务的统一。不同任务通过特定的聚合函数提取最终表示。此外，采用个性化 PageRank（PPR） 进行子图采样，以选取与锚点节点最相关的结构，提高模型的泛化性和可扩展性。本文提出了一种基于孪生掩码自动编码器的自监督预训练方法，用于处理文本属性图。模型采用级联架构，将预训练的语言模型与图神经网络结合。训练时，首先对节点文本进行掩码，再通过语言模型提取特征，并利用图神经网络进行信息传播。解码阶段通过掩码语言建模任务恢复被掩码的文本。此外，引入潜在空间正则化，利用目标网络对隐变量进行约束，以稳定训练并提升表示质量。最终，通过掩码损失和潜在损失的联合优化，使模型能够高效学习图数据的结构和语义信息。

在下游任务中，模型能够通过比较查询图和支持图的嵌入表示，实现少量数据下的高效推理。此外，模型通过指令微调，使其能够理解自然语言中的类别标签，并在未见过的图数据上进行预测，无需额外的针对性训练，从而提升泛化能力。

自监督学习模型对比：UniGraph 通过自监督学习在多个未见数据集上表现优异，展现出强大的跨领域泛化能力，并证明基于文本属性图的学习方式比传统方法更适用于跨领域迁移。

小样本迁移实验：UniGraph 在所有基线方法中表现最佳，即使在不更新模型参数的情况下，仍优于经过下游微调的模型。

零样本迁移实验：UniGraph 在零样本任务中显著优于主流语言模型和现有零样本图学习方法，证明其高效的知识迁移能力。

与数据集特定自监督方法的比较：UniGraph 在自监督学习任务上优于传统方法，并且跨领域版本无需额外任务数据，展现出更强的泛化能力。

GOFA 和 UniGraph 分别从生成式图语言建模和跨领域文本属性图学习的角度，探索了构建通用图基础模型的方法。GOFA 通过融合语言模型与图神经网络，实现了语义与结构的协同建模，并通过自监督预训练提升图理解能力。UniGraph 采用文本属性图作为统一表示方式，结合自监督学习和指令微调，实现跨领域迁移，提升小样本和零样本任务的泛化能力。这些研究表明，将语言模型与图学习结合是构建通用图基础模型的有效路径，同时也为未来在更大规模、更复杂图数据上的研究提供了重要启示。