AAAI 2021 |圖模型相關工作——數(shù)據擴充,；近似梯度下降；解決災難性遺忘問題

taotao_2016 2020-12-24

展開全文

點擊上方關注我們

本文介紹三篇AAAI2021最新的研究工作,，下面的三篇論文均與模型的設計相關,，具體的任務涉及節(jié)點分類和圖分類。

Data Augmentation for Graph Neural Networks
Learning Graph Neural Networks with Approximate Gradient Descent
Overcoming Catastrophic Forgetting in Graph Neural Networks

1. 數(shù)據增強用于GNN

Paper: https:///abs/2006.06830

Code: https://github.com/zhao-tong/GAug

Data Augmentation for Graph Neural Networks

數(shù)據增強已被廣泛用于提高機器學習模型的通用性,。但是,，較少的工作研究圖的數(shù)據擴充。這在很大程度上是由于圖的復雜結構限制了相關的研究,。在半監(jiān)督節(jié)點分類的背景下,，該工作研究了圖神經網絡（GNN）的圖數(shù)據擴充。討論了圖數(shù)據擴充和理論動機,，考慮因素和策略,。研究工作表明,，邊預測可以有效地編碼同質結構，在給定的圖結構中邊預測可以促進類內邊的學習和降低類間邊的學習,。

本文的主要貢獻是引入了GAug圖數(shù)據擴充框架,，該框架通過邊預測提升了模型的性能。

2. 通過近似梯度下降學習GNN

Paper: https://arxiv.org/pdf/2012.03429.pdf

Learning Graph Neural Networks with Approximate Gradient Descent

本文提出了用于學習具有一層隱藏層的圖神經網絡（GNN）算法,。研究了兩種類型的GNN,，用于節(jié)點分類和圖分類。本文提出了一個用于設計和分析GNN訓練算法收斂性的綜合框架,。提出的算法適用于多種激活函數(shù),，包括ReLU，Leaky ReLU,，Sigmod,，Softplus和Swish。

結果表明,，所提出的算法保證了對神經網絡基本參數(shù)的線性收斂速度,。對于上面提到的兩種類型GNN，本文證明了樣本復雜度與節(jié)點數(shù)或圖的相關性,。理論上表明特征尺寸和GNN結構對收斂速度的關系,。

3. 解決圖神經網絡中的災難性遺忘

Paper: https:///abs/2012.06002

Code: https://github.com/hhliu79/TWP

Title: Overcoming Catastrophic Forgetting in Graph Neural Networks

災難性遺忘是指神經網絡在學習新任務時會“忘記”先前學習的知識的趨勢。在本文中,，作者提出了一種新的方案,，致力于克服災難性的遺忘問題，從而加強GNN中的持續(xù)學習,。方法的核心是一個通用模塊,，稱為拓撲感知權重保持（TWP），以即插即用的方式適用于任意形式的GNN,。與基于CNN的持續(xù)學習方法的僅依賴于減慢對下游任務重要的參數(shù)的更新不同,，TWP明確地探索輸入圖的局部結構，并試圖穩(wěn)定在拓撲中起關鍵作用的參數(shù),。本文在幾個數(shù)據集中的不同GNN主干上評估了TWP,，并證明了它產生的性能優(yōu)于最新技術。