加快打造原始创新策源地,加快突破关键核心技术,努力抢占科技制高点,为把我国建设成为世界科技强国作出新的更大的贡献。

——习近平总书记在致中国科学院建院70周年贺信中作出的“两加快一努力”重要指示要求

面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康,率先实现科学技术跨越发展,率先建成国家创新人才高地,率先建成国家高水平科技智库,率先建设国际一流科研机构。

——中国科学院办院方针

首页 > 科研进展

软件所在图对比学习拓扑判别方面取得进展 

2024-01-19 软件研究所
【字体:

语音播报

近日,中国科学院软件研究所研究团队的论文Hierarchical Topology Isomorphism Expertise Embedded Graph Contrastive Learning被计算机科学领域学术会议AAAI 2024 Fast Track接收。论文提出了一种新颖的引入层次拓扑同构专家知识的自监督图对比学习方法HTML(Hierarchical Topology isomorphism expertise embedded graph contrastive Learning)。该方法采用知识蒸馏技术,能够学习图层和子图层的拓扑同构专家知识,同时具有即插即用的特点,适用于多种先进的图对比学习方法。

图对比学习方法的一个主要挑战是探索图数据的异构判别信息。作为人工衍生的离散数据结构,图数据包含两种关键的潜在判别信息:特征级信息和拓扑级信息。近期研究表明,尽管当前的图对比学习方法能够有效探索特征级判别信息,却只能模拟相对有限的拓扑级判别信息。

为此,研究团队尝试通过指导图神经网络学习拓扑级信息,来提高图对比学习方法学习判别性信息的能力。经探索实验证明,虽然基于图神经网络的基准图对比学习方法(GraphCL)不能有效地学习图拓扑专家知识,但是将这种图拓扑专家知识引入基于图神经网络的图对比学习方法会引发判别性能的急剧提升。由此表明图拓扑专家知识能进一步补充基于图神经网络的图对比学习方法,谨慎融合特征级和拓扑级判别信息可以显著提高图对比学习模型在无监督图表示学习上的性能。

基于上述实验分析,研究团队提出引入层次拓扑同构专家知识的图对比学习方法HTML,即使用知识蒸馏技术在图对比学习模型中隐式地引入图拓扑专家知识。为了对具有不同拓扑结构的图进行全局分类,研究团队将Weisfeiler-Lehman(WL)测试作为图层专家系统,引导基准图对比学习方法学习图层拓扑同构专家知识。为了捕获细粒度的拓扑级判别信息,研究团队引入计算重叠子图的结构系数方法作为子图层专家系统,同时引导基准图对比学习方法学习子图层拓扑同构专家知识。

研究团队还基于贝叶斯决策规则给出理论分析,证明了与传统的图对比方法相比,HTML实现了更严格的贝叶斯误差界;同时在17个真实世界数据集、4个图对比学习模型、2个图表示学习任务上进行了实验,结果表明HTML在不同实验设置下均表现出最佳性能。

论文链接

探索实验结果

HTML模型框架图

打印 责任编辑:江澄

扫一扫在手机打开当前页

© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

地址:北京市西城区三里河路52号 邮编:100864

电话: 86 10 68597114(总机) 86 10 68597289(总值班室)

编辑部邮箱:casweb@cashq.ac.cn

  • © 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

    地址:北京市西城区三里河路52号 邮编:100864

    电话: 86 10 68597114(总机) 86 10 68597289(总值班室)

    编辑部邮箱:casweb@cashq.ac.cn

  • © 1996 - 中国科学院 版权所有
    京ICP备05002857号-1
    京公网安备110402500047号
    网站标识码bm48000002

    地址:北京市西城区三里河路52号 邮编:100864
    电话:86 10 68597114(总机)
       86 10 68597289(总值班室)
    编辑部邮箱:casweb@cashq.ac.cn