快讯｜北邮GAMMA LAB的五篇工作被www 2024 接收

题目：Endowing Pre-trained Graph Models with Provable Fairness

作者：Zhongjian Zhang，Mengmei Zhang，Yue Yu，Cheng Yang，Jiawei Liu，Chuan Shi

摘要：预训练的图模型（PGMs）在图机器学习领域受到广泛关注，它们通过捕捉可转移的固有结构属性并将其应用于不同的下游任务。与预训练语言模型类似，PGMs 也会继承来自人类社会的偏见，导致在下游应用中出现歧视行为。通常，现有公平性方法的去偏过程与 GNNs 的参数优化耦合。然而，现实中不同的下游任务可能与不同的敏感属性相关联，直接采用现有方法来提高 PGMs 的公平性既不灵活也不高效。此外，大多数现有去偏方法缺乏理论上的保证，即模型预测的公平性缺乏可证明的下限，无法直接在实际场景中提供保证。为了解决上述问题，我们提出了一个新颖的框架，赋予预训练图模型可证明的公平性（称为 GraphPAR）。GraphPAR 在下游任务中冻结 PGMs 的参数并训练一个参数高效的适配器来灵活提高 PGMs 的公平性。具体来说，我们在节点表示上设计了一个敏感语义增强器，为每个节点扩展不同敏感属性语义的节点表示。扩展的表示将直接用于优化适配器的参数，防止敏感属性语义从 PGMs 传播到任务预测。同时，通过GraphPAR，我们可以量化每个节点的公平性是否可证明，即在一定的敏感属性语义范围内预测总是公平的。在真实世界数据集上进行的大量实验评估表明，GraphPAR 在节点分类任务上实现了最先进的性能和公平性。此外，基于 GraphPAR，大约 90% 的节点具备可证明的公平性。

题目：Graph Fairness Learning under Distribution Shifts

作者：Yibo Li, Xiao Wang, Yujie Xing, Shaohua Fan, Ruijia Wang, Yaoqi Liu, Chuan Shi

摘要：图神经网络（GNN）在图上取得了很好的性能。然而，GNN可能会从训练数据中继承偏见，并基于敏感属性（如性别和种族）做出歧视性预测。最近，许多工作关注在GNN上确保公平性，但这些工作都假设训练数据和测试数据具有相同分布，即训练数据和测试数据来自同一个图。在分布迁移下，图公平性是否会下降？分布迁移如何影响图公平性学习？所有这些问题都未被探索。为了回答这些问题，我们首先从理论上确定了决定图偏差的因素。随后，我们探讨了影响测试图公平性的因素，其中一个重要因素是训练图和测试图之间某些群体的表征距离。基于理论分析，我们提出了我们的模型FatraGNN。特别地，为了保证未知测试图上的公平性，我们提出了一个图生成器来生成具有显著偏差且分布不同的图。然后我们最小化训练图和生成图之间每个特定群体的表征距离。这使得我们的模型在具有显著偏差的生成图上也能实现好的分类和公平性能，从而有效处理未知的测试图。大量实验表明，我们的模型在准确性和公平性方面都很有效。

题目：Federated Heterogeneous Graph Neural Network for Privacy-preserving Recommendation

作者：Bo Yan, Yang Cao, Haoyu Wang, Wenchuan Yang, Junping Du, Chuan Shi

摘要：异质信息网络（HINs）包含由元路径描述的丰富语义，已成为缓解推荐系统中数据稀疏性的有力工具。现有的基于HIN的推荐系统是在集中式存储与训练的假设下进行的。然而，由于隐私问题，真实世界的数据往往是分布式的，这导致了HIN中的语义破坏问题，从而无法进行基于HIN的推荐。在本文中，我们提出将HIN划分为存储在客户端的私有HIN和服务器上的共享HIN。根据这一设置，我们提出了一种基于联邦异构图神经网络（FedHGNN）的框架，该框架使得我们可以使用分布式HIN协同训练推荐模型，同时保护用户隐私。具体来说，我们首先根据差分隐私，形式化了基于HIN的联邦推荐（FedRec）的隐私定义，目的是保护私有HIN中的用户-项目交互以及共享HIN中的用户高阶交互模式。为了恢复基于元路径的语义并保护定义的隐私信息，我们设计了一种保持语义的用户交互发布方法，该方法在本地扰乱用户-项目交互以及用户的高阶模式进行发布，并且具有严格的隐私保证。随后，我们提出了一个用于推荐的HGNN模型，该模型进行节点级和语义级聚合以捕捉恢复的语义。在三个数据集上的实验表明，我们的模型在合理的隐私预算下显著优于现有方法。

题目：GraphTranslator: Aligning Graph Model to Large Language Model for Open-ended Tasks

作者：Mengmei Zhang, Mingwei Sun, Peng Wang, Shen Fan, Yanhu Mo, Xiaoxiao Xu, Hong Liu, Cheng Yang, Chuan Shi

摘要：大型语言模型（LLM）如ChatGPT具备强大的零样本和指令遵循能力，已经在人工智能的多个研究领域尤其是开放式任务中引发了革命性的变革。虽然这一理念在图域中探索较少，尽管有许多强大的图模型（GM）可用，但它们仅限于预定义形式的任务。为了打破这一困境，我们提出了一种桥接预训练图模型和LLM的翻译器，名为GraphTranslator，旨在利用图模型处理预定义任务的同时，利用LLM为图模型提供各种开放式任务。为了训练这样的翻译器，我们提出了一种生产者，能够沿着节点信息、邻居信息和模型偏见构造图语言对齐数据。通过将节点表示视为一种语言，所提出的GraphTranslator使LLM能够基于节点表示和语言指令进行预测，为预定义任务和开放式任务提供了统一的视角。广泛的结果表明，所提出的GraphTranslator有效提高了零样本节点分类的结果。初步的图问答实验揭示了我们的GraphTranslator通过语言指令在广泛的开放式应用中的潜力。