【導(dǎo)讀】最近,，DeepMind,、Google大腦、MIT等各大研究機(jī)構(gòu)相繼發(fā)表了一系列的關(guān)于圖深度學(xué)習(xí)的論文,，包括關(guān)系性RNN,、關(guān)系性深度強(qiáng)化學(xué)習(xí)、圖卷積神經(jīng)網(wǎng)絡(luò)等,， 這是否預(yù)示這是下一個(gè)AI算法熱點(diǎn),。專知整理了最近圖深度學(xué)習(xí)相關(guān)的熱點(diǎn)論文，一文看曉,。

1. Relational inductive biases, deep learning, and graph networks （圖網(wǎng)絡(luò)深度學(xué)習(xí)綜述文章）

首先就是這篇由DeepMind,、Google大腦、MIT,、愛(ài)丁堡大學(xué)27個(gè)作者發(fā)表的37頁(yè)關(guān)于關(guān)系歸納偏置,、典型深度學(xué)習(xí)構(gòu)件和圖網(wǎng)絡(luò)的綜述文章，探討了如何在深度學(xué)習(xí)架構(gòu)中使用關(guān)系歸納偏置,，有助于學(xué)習(xí)實(shí)體,、關(guān)系及其組合規(guī)則，來(lái)有效解決傳統(tǒng)“人工構(gòu)造學(xué)習(xí)”和“端到端學(xué)習(xí)”的弊端,，以增強(qiáng)學(xué)習(xí)的可解釋性,。

對(duì)此，一些知名的AI學(xué)者也對(duì)此做了點(diǎn)評(píng),?？导{爾大學(xué)數(shù)學(xué)博士/MIT博士后Seth Stafford說(shuō)圖神經(jīng)網(wǎng)絡(luò)(Graph NNs) 可能解決之前Judea Pearl提出的人工智能因果推斷問(wèn)題，貝葉斯網(wǎng)絡(luò)之父Judea Pearl：要建立真正的人工智能,，少不了因果推理,。

論文地址：https:///abs/1806.01261

2. Relational Deep Reinforcement Learning（關(guān)系性深度強(qiáng)化學(xué)習(xí)）

近日，DeepMind 提出了一種「關(guān)系性深度強(qiáng)化學(xué)習(xí)」方法,，并在星際爭(zhēng)霸 2 中進(jìn)行了測(cè)試,，取得了最優(yōu)水平。

論文鏈接：https:///abs/1806.01830

摘要：在本文中，我們介紹了一種深度強(qiáng)化學(xué)習(xí)方法,，它可以通過(guò)結(jié)構(gòu)化感知和關(guān)系推理提高常規(guī)方法的效率,、泛化能力和可解釋性。該方法使用自注意力來(lái)迭代地推理場(chǎng)景中實(shí)體之間的關(guān)系并指導(dǎo) model-free 策略,。實(shí)驗(yàn)結(jié)果表明,，在一項(xiàng)名為「方塊世界」的導(dǎo)航、規(guī)劃新任務(wù)中,，智能體找到了可解釋的解決方案,，并且在樣本復(fù)雜性、泛化至比訓(xùn)練期間更復(fù)雜場(chǎng)景的能力方面提高了基線水平,。在星際爭(zhēng)霸 II 學(xué)習(xí)環(huán)境中,，智能體在六個(gè)小游戲中達(dá)到了當(dāng)前最優(yōu)水平——在四個(gè)游戲中的表現(xiàn)超越了大師級(jí)人類玩家。通過(guò)考慮架構(gòu)化歸納偏置,，我們的研究為解決深度強(qiáng)化學(xué)習(xí)中的重要,、棘手的問(wèn)題開(kāi)辟了新的方向。

更多解讀,，請(qǐng)看hardmaru的論文筆記：

https://yobibyte./files/paper_notes/rdrl.pdf

3. Relational recurrent neural networks（關(guān)系性循環(huán)神經(jīng)網(wǎng)絡(luò)）

DeepMind和倫敦大學(xué)學(xué)院的這篇論文提出關(guān)系推理模塊RMC，能夠在序列信息中執(zhí)行關(guān)系推理,，在WikiText-103, Project Gutenberg 和 GigaWord 數(shù)據(jù)集上達(dá)到了當(dāng)前最佳性能,。

摘要：基于記憶的神經(jīng)網(wǎng)絡(luò)通過(guò)利用長(zhǎng)時(shí)間記憶信息的能力來(lái)建模時(shí)序數(shù)據(jù)。然而,，目前還不清楚它們是否有能力利用它們記得的信息進(jìn)行復(fù)雜的關(guān)系推理,。在這篇論文中，DeepMind和倫敦大學(xué)學(xué)院的研究人員首先證實(shí)一種直覺(jué)想法,，即標(biāo)準(zhǔn)的記憶架構(gòu)在一些涉及關(guān)系推理的任務(wù)上很困難,。然后，研究者通過(guò)使用一個(gè)新的記憶模塊——Relational Memory Core（RMC）——來(lái)改進(jìn)這種缺陷,，該模塊采用multi-head dot product attention來(lái)允許記憶交互,。最后，研究者在一系列任務(wù)上測(cè)試RMC,，這些任務(wù)可以從跨序列信息的更強(qiáng)大的關(guān)系推理中獲益,，并且在RL領(lǐng)域（例如Mini PacMan）、程序評(píng)估和語(yǔ)言建模中顯示出巨大的受益,，在WikiText-103,、Project Gutenberg和GigaWord數(shù)據(jù)集上獲得state-of-the-art的結(jié)果。

論文地址：https:///abs/1806.01822

4. Neural Relational Inference for Interacting Systems

這篇由阿姆斯特丹大學(xué)的Thomas Kipf提出發(fā)表的ICML2018論文,，神經(jīng)關(guān)系推理(NRI)模型——交互系統(tǒng)神經(jīng)網(wǎng)絡(luò)關(guān)系推理,，潛在交互圖推斷。

Thomas Kipf準(zhǔn)備加入 Google DeepMind實(shí)習(xí)，在圖深度學(xué)習(xí)方面有著深厚研究,，之前他有一份結(jié)構(gòu)化深度學(xué)習(xí)的教程,，非常值得一看，教程地址：

http://tkipf./misc/SlidesCambridge.pdf

Graph Convolutional Neural Networks教程：https://tkipf./graph-convolutional-networks/

5. Videos as Space-Time Region Graphs

這篇由卡耐基梅隆大學(xué)（CMU）的王小龍發(fā)表的,，把video表達(dá)成為一個(gè)roi proposal組成的graph,，在上面定義local和nonlocal edges，做graph convolution,。

論文地址：https:///abs/1806.01810