分享嘉賓 | 陳藝虹

文稿整理 | William

Knowledge Graph Completion(KGC)

知識(shí)圖譜一般會(huì)有多個(gè)節(jié)點(diǎn),，包括性別,、國(guó)家等各種各樣的節(jié)點(diǎn)(也可理解為實(shí)體)，節(jié)點(diǎn)之間會(huì)有不同的關(guān)系,，可以通過(guò)其他的一些節(jié)點(diǎn)預(yù)測(cè)出當(dāng)前節(jié)點(diǎn)的其他信息,。恢復(fù)這些信息是將所有的候選信息進(jìn)行排序,，優(yōu)化如下?lián)p失函數(shù),，再按最大似然概率得到推薦信息。

Factorization-based Models vs Graph Neural Networks for KGC

知識(shí)圖譜補(bǔ)全一般有兩類(lèi)模型：

第一種是factorization-based models,，如圖1左邊所示,。非常簡(jiǎn)單的幾個(gè)矩形合在一起，豎著的長(zhǎng)方形代表subject in bedding,，橫著的長(zhǎng)方形代表object in bedding,，藍(lán)色的則是relation in bedding，將各個(gè)之間的關(guān)系進(jìn)行嵌入后內(nèi)積相乘,，即可得到結(jié)果,。值得注意的是K表示隱藏向量長(zhǎng)度。

該類(lèi)模型的推理效率非常高,，在一些常用的計(jì)算平臺(tái)上部署起來(lái)非常簡(jiǎn)單,。最大的問(wèn)題若一個(gè)新的節(jié)點(diǎn)在當(dāng)前圖譜里找不到對(duì)應(yīng)節(jié)點(diǎn)，則模型無(wú)法使用,。

第二類(lèi)是graph neural networks for KGC,，如圖1右邊所示。直接是message圖,，通過(guò)不同節(jié)點(diǎn)的計(jì)算流圖畫(huà)出方向,，不同的顏色代表不一樣的類(lèi)型。有兩個(gè)可以自行設(shè)計(jì)的地方：

①接受信息的是可學(xué)習(xí)的方式,，可以設(shè)計(jì)幾個(gè)特征學(xué)習(xí)層

②可以利用求和或平均池化等操作集合信息到中央節(jié)點(diǎn)

該類(lèi)模型的優(yōu)點(diǎn)是即使存在一個(gè)新的節(jié)點(diǎn),，也能進(jìn)行預(yù)測(cè)，此外還會(huì)計(jì)算考慮節(jié)點(diǎn)信息以及neighborhood信息,。但問(wèn)題在于預(yù)測(cè)的效果不好,，而且很難去擴(kuò)展到比較深的圖神經(jīng)網(wǎng)絡(luò)。

圖1 知識(shí)圖譜補(bǔ)全的兩種類(lèi)型

Implicit Message-Passing within FMs

FM的優(yōu)化過(guò)程會(huì)包含一些隱式的message傳遞,，但如果把優(yōu)化過(guò)程加入到表達(dá)式里面,，可以看到message傳遞后梯度優(yōu)化的過(guò)程：當(dāng)開(kāi)始優(yōu)化時(shí)，從鄰居節(jié)點(diǎn)拿屬性進(jìn)行更新中心節(jié)點(diǎn),，然后所有鄰居節(jié)點(diǎn)都會(huì)更新，會(huì)出現(xiàn)向外的neighborhood(表示為+)和向內(nèi)的neighborhood (表示為-),，同時(shí)全局正則化也會(huì)計(jì)算相加,。拿如果進(jìn)行第二次梯度更新,，就會(huì)得到類(lèi)似的第二層message passing，以此類(lèi)推,，如圖2所示,。

圖2 FMs的隱式消息傳遞

The ReFactor GNN

每一個(gè)guardian decent其實(shí)包含了一個(gè)message passing layer，那可以創(chuàng)建一個(gè)新的圖神經(jīng)網(wǎng)絡(luò)來(lái)捕捉這種消息傳遞機(jī)制,，不同的方向會(huì)有不同的消息,，重要的是不同的邊的類(lèi)型會(huì)被考慮。如果把factorization best models的梯度下降優(yōu)化過(guò)程實(shí)現(xiàn)成一個(gè)message passing layer,，可以直接把指針?lè)纸獾奶荻葍?yōu)化過(guò)程寫(xiě)入message passing lay里面,，就可實(shí)現(xiàn)了一個(gè)message part。

優(yōu)化訓(xùn)練如圖3所示,，橙色區(qū)域代表運(yùn)算的memory,，當(dāng)需要從memory里面讀取相應(yīng)的節(jié)點(diǎn)，可以直接抽取再送進(jìn)message passing layer,，然后進(jìn)行更新,，得到下一層。當(dāng)?shù)玫浇Y(jié)果的時(shí)候,，只要把它寫(xiě)回到memory里面,。如果下一輪某一條邊或某一個(gè)節(jié)點(diǎn)的更新需要當(dāng)前節(jié)點(diǎn)狀態(tài)的時(shí)候，就可以直接提取,，而不用從零去重新計(jì)算,，即可實(shí)現(xiàn)計(jì)算的高效性。

圖3 優(yōu)化訓(xùn)練框圖

計(jì)算效率高有如下作用：

(1)可以用一個(gè)儲(chǔ)存神經(jīng)網(wǎng)絡(luò)去逼近一個(gè)張量分解模型的性能

(2)可以將其擴(kuò)展到更深層網(wǎng)絡(luò),，提高模型性能

(3)使得添加層數(shù)變得比較簡(jiǎn)單,，global regulation也比較好

(4)可以用到其他的知識(shí)圖譜以外的學(xué)習(xí)上

Experiments over Inductive KGC

先簡(jiǎn)單介紹實(shí)驗(yàn)里面用到的一些baseline：

第一個(gè)是完全不做pretrain，意義在于能有效的比較得出不同節(jié)點(diǎn)特征的有效性

第二個(gè)是一些Rule-based的方法,，比如Neural-LP,，DRUM，Rule-N

第三個(gè)是重點(diǎn)的圖神經(jīng)網(wǎng)絡(luò)模型,，能檢測(cè)不同的層數(shù)會(huì)如何去影響它的性能

第四個(gè)是Pairwise的圖神經(jīng)網(wǎng)絡(luò),，比如GralL，LNBFNet

將只有random feature和只有meaningful的texture feature的文本信息送進(jìn)預(yù)訓(xùn)練的語(yǔ)言模型,，將其輸出來(lái)作為節(jié)點(diǎn)特征,，其余模型的操作一樣，這些網(wǎng)絡(luò)最后的性能表現(xiàn)如圖4所示,。

圖4 模型性能對(duì)比

可以發(fā)現(xiàn)預(yù)訓(xùn)練模型對(duì)random feature的性能有0.215,，對(duì)有意義的texture feature有0.242，差別不是很大,。圖神經(jīng)網(wǎng)絡(luò)將文本信息用的淋漓盡致,，當(dāng)是random feature時(shí)只有0.33,，性能比較差，但當(dāng)輸入為有意義的texture feature,，則性能可以達(dá)到0.8,，不顧圖神經(jīng)網(wǎng)絡(luò)的層數(shù)與性能沒(méi)有太多的關(guān)系。ReFactor的性能對(duì)比與圖神經(jīng)網(wǎng)絡(luò)差不多,，不過(guò)在random feature會(huì)比圖神經(jīng)網(wǎng)絡(luò)高0.35左右,。GralL是第一個(gè)開(kāi)始做該方法的測(cè)試，性能表現(xiàn)不錯(cuò),。