博士论文标题:因果约束的图神经网络研究
博士期间以第一作者发表CCF A类论文4篇,CCF B类2篇,一篇在投
研究方向:图神经网络、因果发现、以及二者结合
导师:石川、王柏
指导老师:石川、王啸
毕业去向:清华大学博士后
摘要:
图(网络)数据在现实世界中普遍存在,其可以灵活地建模复杂系统中的丰富交互关系并在很多领域得到了广泛的应用,如社交图、交通图、化学分子图和蛋白质图。图机器学习是一类针对于图数据的机器学习算法,其中图神经网络由于其广泛的适用性和优良的性能,近年来受到了广泛的关注。目前图神经网络方法大都假设训练和测试数据同分布。然而,由于现实世界中数据收集的不可控性,不可避免地导致收集到的训练和测试图数据之间的分布存在偏差,所以独立同分布假设在现实世界中很难满足。因此,保证图神经网络在数据偏差下的泛化性对于将图神经网络用于实际应用中有着重要的意义。
阻碍图神经网络在有偏数据下难以泛化的一个根本原因是其学习到的是输入图数据和标签的相关关系,此相关关系在测试时可能发生改变从而影响模型的预测效果。因果分析,旨在发现变量之间的因果关系或者度量输入变量和标签之间的因果效应,此因果关系/效应通常被认为是稳定的。比如,分子图中,官能团往往对分子性质起到决定性作用而不是苯环等高相关结构。因此,考虑利用因果分析的方法约束图神经网络学习到图数据和标签之间因果关系而不是相关关系,对于提升其泛化能力和可解释性将会有很大的帮助。因果分析方法通常被用于低维结构化数据而图数据是非欧数据具有复杂性,因此用因果分析方法约束图神经网络面临如下挑战:(1) 如何有效地将因果分析方法和图神经网络模型相结合。(2) 如何有效地学习图数据中的不变的因果关系用于预测。(3) 如何得到具有内在因果可解释性的图神经网络模型。针对上述挑战,本文对因果约束下的图神经网络模型方法开展研究。首先,开展因果约束特征独立学习框架研究。然后,在该框架的支撑下,研究针对节点分类和图分类问题的图因果表示学习方法。最后,研究了解耦因果子结构学习方法以提供良好的预测内在可解释性。
1
工作1:DCKM:数据选择偏差下的聚类算法,发表于IJCAI2020
核心思想:为了去除对于聚类有害的虚假相关性,提出了目标函数联合去相关框架,使算法在无偏数据上聚类。
2
工作2:DGNN:去偏差图神经网络,发表于TNNLS2022
核心思想:去除节点嵌入之间的虚假相关,实现节点局部邻居和标签关系之间的无偏估计。
3
工作3:StableGNN:用于分布外泛化的稳定图神经网络,TPAMI在投
核心思想:提出了学习图因果高层表示变量和高层语义去相关的图因果表示学习框架。
4
工作4:DisC:结构因果子结构的去偏差框架,发表于NeurIPS2022
核心思想:设计针对于偏差和因果信息特性的损失,用边掩码器结构因果子结构,去除图数据偏差。
5
工作5:GraphNOTEARS: 动态图上的因果结构发现,发表于AAAI2023
核心思想:利用给定的动态图结构信息,自动地学习节点特征生成过程的因果关系。
6
工作6:MEIRec: 基于元路径聚合的图神经网络意图推荐算法,发表于KDD2019
核心思想:基于元路径聚合用户和关键词的邻居信息,应用于手机淘宝搜索关键词推荐。
7
工作7:One2MAC: 深度多视图图聚类算法,WWW2020
核心思想:使用图神经网络提取多个视图图数据所共享的信息,并优化其表示适用于聚类算法。
8
工作8:AEHE: 基于异质信息网络嵌入的异常事件监测,CIKM2018
核心思想:通过异质图嵌入融合异质结构和属性信息,并设计异常事件得分函数,度量异质事件的异常得分。
参考文献
[1]Xiao Wang, Shaohua Fan , Kun Kuang, Chuan Shi, Jiawei Liu, Bai Wang.Decorrelated Clustering with Data Selection Bias. IJCAI 2020.
[2]Shaohua Fan, Xiao Wang, Chuan Shi, Kun Kuang, Nian Liu, Bai Wang. Debiased Graph Neural Networks with Agnostic Label Selection Bias. TNNLS 2022.
[3] Shaohua Fan, Xiao Wang, Chuan Shi, Peng Cui, Bai Wang. Generalizing graph neural networks on out-of-distribution graphs[J]. arXiv preprint arXiv:2111.10657, 2021.
[4] Shaohua Fan, Xiao Wang, Yanhu Mo, Chuan Shi, Jian Tang. Debiasing Graph Neural Networks via Learning Disentangled Causal Substructure. NeurIPS 2022.
[5] Shaohua Fan, Shuyang Zhang, Xiao Wang, Chuan Shi. Directed Acyclic Graph Structure Learning from Dynamic Graphs. AAAI 2023
[6] Shaohua Fan, Junxiong Zhu, Xiaotian Han, Chuan Shi, Linmei Hu, Biyu Ma, Yongliang Li. Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation.KDD 2019.
[7] Shaohua Fan, Xiao Wang, Chuan Shi, Emiao Lu, Ken Lin, Bai Wang. One2Multi Graph Autoencoder for Multi-view Graph Clustering. WWW 2020.
[8] Shaohua Fan, Chuan Shi, Xiao Wang. Abnormal Event Detection via Heterogeneous Information Network Embedding. CIKM 2018.
长按下图并点击“识别图中二维码”
即可关注北邮 GAMMA Lab 公众号
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...