院况简介
1949年,伴随着新中国的诞生,中国科学院成立。
作为国家在科学技术方面的最高学术机构和全国自然科学与高新技术的综合研究与发展中心,建院以来,中国科学院时刻牢记使命,与科学共进,与祖国同行,以国家富强、人民幸福为己任,人才辈出,硕果累累,为我国科技进步、经济社会发展和国家安全做出了不可替代的重要贡献。 更多简介 +
院领导集体
创新单元
科技奖励
科技期刊
工作动态/ 更多
中国科学院学部
中国科学院院部
语音播报
近日,中国科学院软件研究所研究团队的论文Hierarchical Topology Isomorphism Expertise Embedded Graph Contrastive Learning被计算机科学领域学术会议AAAI 2024 Fast Track接收。论文提出了一种新颖的引入层次拓扑同构专家知识的自监督图对比学习方法HTML(Hierarchical Topology isomorphism expertise embedded graph contrastive Learning)。该方法采用知识蒸馏技术,能够学习图层和子图层的拓扑同构专家知识,同时具有即插即用的特点,适用于多种先进的图对比学习方法。
图对比学习方法的一个主要挑战是探索图数据的异构判别信息。作为人工衍生的离散数据结构,图数据包含两种关键的潜在判别信息:特征级信息和拓扑级信息。近期研究表明,尽管当前的图对比学习方法能够有效探索特征级判别信息,却只能模拟相对有限的拓扑级判别信息。
为此,研究团队尝试通过指导图神经网络学习拓扑级信息,来提高图对比学习方法学习判别性信息的能力。经探索实验证明,虽然基于图神经网络的基准图对比学习方法(GraphCL)不能有效地学习图拓扑专家知识,但是将这种图拓扑专家知识引入基于图神经网络的图对比学习方法会引发判别性能的急剧提升。由此表明图拓扑专家知识能进一步补充基于图神经网络的图对比学习方法,谨慎融合特征级和拓扑级判别信息可以显著提高图对比学习模型在无监督图表示学习上的性能。
基于上述实验分析,研究团队提出引入层次拓扑同构专家知识的图对比学习方法HTML,即使用知识蒸馏技术在图对比学习模型中隐式地引入图拓扑专家知识。为了对具有不同拓扑结构的图进行全局分类,研究团队将Weisfeiler-Lehman(WL)测试作为图层专家系统,引导基准图对比学习方法学习图层拓扑同构专家知识。为了捕获细粒度的拓扑级判别信息,研究团队引入计算重叠子图的结构系数方法作为子图层专家系统,同时引导基准图对比学习方法学习子图层拓扑同构专家知识。
研究团队还基于贝叶斯决策规则给出理论分析,证明了与传统的图对比方法相比,HTML实现了更严格的贝叶斯误差界;同时在17个真实世界数据集、4个图对比学习模型、2个图表示学习任务上进行了实验,结果表明HTML在不同实验设置下均表现出最佳性能。
探索实验结果
HTML模型框架图
© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话: 86 10 68597114(总机) 86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn
© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话: 86 10 68597114(总机) 86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn
© 1996 - 中国科学院 版权所有
京ICP备05002857号-1
京公网安备110402500047号
网站标识码bm48000002
地址:北京市西城区三里河路52号 邮编:100864
电话:86 10 68597114(总机)
86 10 68597289(总值班室)
编辑部邮箱:casweb@cashq.ac.cn