作者丨姜天文

學(xué)校丨哈工大SCIR博士生

“知識圖譜（Knowledge Graph）”的概念由 Google 公司在 2012 年提出[1],，是指其用于提升搜索引擎性能的知識庫。與近年來其他學(xué)者相同,，本文中的“知識圖譜”泛指知識庫項目,，而非特指 Google 的知識圖譜項目。

知識圖譜的出現(xiàn)是人工智能對知識需求所導(dǎo)致的必然結(jié)果,，但其發(fā)展又得益于很多其他的研究領(lǐng)域,，涉及專家系統(tǒng)、語言學(xué),、語義網(wǎng),、數(shù)據(jù)庫，以及信息抽取等眾多領(lǐng)域,，是交叉融合的產(chǎn)物而非一脈相承,。

△ 圖1: 多領(lǐng)域共同促進知識圖譜發(fā)展  

知識圖譜的早期發(fā)展

早在上個世紀(jì) 70 年代，專家系統(tǒng)（Expert Systems）作為人工智能的重要分支,，是指利用知識和推理過程來解決那些借助人類專家知識才能得已解決的問題的計算機程序[2],。八十年代，專家系統(tǒng)的發(fā)展激增,，日本的五代機項目就是在這期間開始的,，專家系統(tǒng)是其核心部分。專家系統(tǒng)一般由兩部分組成：知識庫與推理引擎,。人類專家提供知識,，再將這種顯式的知識映射并存儲到知識庫中用來推理。

Cyc 是這一期間較為出色的項目[3],，由 Douglas Lenat 在 1984 年設(shè)立,，旨在收集生活中常識知識并將其編碼集成到一個全面的本體知識庫。Cyc 知識庫中的知識使用專門設(shè)計的 CycL 進行表示,。同其他專家系統(tǒng)一樣,，Cyc 不僅包括知識,，而且提供了非常多的推理引擎，支持演繹推理和歸納推理,。目前 Cyc 知識庫涉及 50 萬條概念的 500 萬條常識知識,。OpenCyc 是其開放出來免費供大眾使用的部分知識，包括 24 萬條概念的約 240 萬條常識知識,。

對詞匯的理解是解讀自然語言的關(guān)鍵,，語言學(xué)家所創(chuàng)造的詞典為人類而非機器的閱讀提供了便利，雖然有電子詞典的存在,，但機器仍無法很好的從中獲取詞匯含義,。

1985 年，普林斯頓大學(xué)認(rèn)識科學(xué)實驗室在心理學(xué)教授喬治·A·米勒的指導(dǎo)下開始建立和維護名為 WordNet 的英語字典[4],，旨在為詞典信息和現(xiàn)代計算提供更加有效的結(jié)合,，為計算機程序提供可讀性較強的在線詞匯數(shù)據(jù)庫。

在 WordNet 中,，名詞,、動詞、形容詞以及副詞被按照認(rèn)知上的同義詞分組,，稱為 synsets,，每一個 synset 表征一個確定的概念。synset 之間通過概念語義以及詞匯關(guān)系鏈接,。在漢語中,，類似的典型代表有《同義詞詞林》[15]及其擴展版[16]、知網(wǎng)（HowNet）[17]等,，都是從語言學(xué)的角度,，以概念為最基本的語義單元構(gòu)建起來的可以被計算機處理的漢語詞典。

這些早期的知識圖譜都是利用相關(guān)領(lǐng)域?qū)＜疫M行人工構(gòu)建,，具有很高的準(zhǔn)確率和利用價值,，但是其構(gòu)建過程耗時耗力而且存在覆蓋性較低的問題。

鏈接數(shù)據(jù)與基于百科知識的知識圖譜構(gòu)建

1989 年萬維網(wǎng)的出現(xiàn),，為知識的獲取提供了極大的方便,，1998 年,，萬維網(wǎng)之父蒂姆·伯納斯·李再次提出語義網(wǎng)（Semantic Web）,，其初衷是讓機器也同人類一樣可以很好地獲取并使用知識[5,6,7]。

不同于人工智能中訓(xùn)練機器使之擁有和人類一樣的認(rèn)知能力,，語義網(wǎng)直接向機器提供可直接用于程序處理的知識表示[5],。但語義網(wǎng)是一個較為宏觀的設(shè)想并且其設(shè)計模型是“自頂向下”的，導(dǎo)致其很難落地,，學(xué)者們逐漸將焦點轉(zhuǎn)向數(shù)據(jù)本身,。

2006 年,，伯納斯·李提出鏈接數(shù)據(jù)（Linked Data）的概念，鼓勵大家將數(shù)據(jù)公開并遵循一定的原則（2006 年提出 4 條原則,，2009 年精簡為 3 條原則）將其發(fā)布在互聯(lián)網(wǎng)中[8,9],，鏈接數(shù)據(jù)的宗旨是希望數(shù)據(jù)不僅僅發(fā)布于語義網(wǎng)中，而需要建立起數(shù)據(jù)之間的鏈接從而形成一張巨大的鏈接數(shù)據(jù)網(wǎng),。其中,，最具代表性的當(dāng)屬 2007 年開始運行的 DBpedia 項目[10]，是目前已知的第一個大規(guī)模開放域鏈接數(shù)據(jù),。

DBpdia 項目最初是由柏林自由大學(xué)和萊比錫大學(xué)的學(xué)者發(fā)起的,，其初衷是緩解語義網(wǎng)當(dāng)時面臨的窘境，第一份公開數(shù)據(jù)集在 2007 年時發(fā)布,，通過自由授權(quán)的方式允許他人使用,。Leipzig 等學(xué)者[10]認(rèn)為在大規(guī)模網(wǎng)絡(luò)信息的環(huán)境下傳統(tǒng)“自上而下”地在數(shù)據(jù)之前設(shè)計本體是不切實際的，數(shù)據(jù)及其元數(shù)據(jù)應(yīng)當(dāng)隨著信息的增加而不斷完善,。

數(shù)據(jù)的增加和完善可以通過社區(qū)成員合作的方式進行,，但這種方式涉及數(shù)據(jù)的一致性、不確定性,，以及隱式知識的統(tǒng)一表示等諸多問題,。Leipzig 等人[10]認(rèn)為探尋這些問題最首要并高效的方式就是提供一個內(nèi)容豐富的多元數(shù)據(jù)語料，有了這樣的語料便可以極大推動諸如知識推理,、數(shù)據(jù)的不確定管理技術(shù),，以及開發(fā)面向語義網(wǎng)的運營系統(tǒng)。

朝著鏈接數(shù)據(jù)的構(gòu)想,，DBpedia 知識庫利用語義網(wǎng)技術(shù),，如資源描述框架（RDF）[18]，與眾多知識庫（如 WordNet,、Cyc 等）建立鏈接關(guān)系,，構(gòu)建了一個規(guī)模巨大的鏈接數(shù)據(jù)網(wǎng)絡(luò)。

△ 圖2：以DBpedia為核心的鏈接數(shù)據(jù)網(wǎng)絡(luò)

2001 年,，一個名為維基百科（Wikipedia）的全球性多語言百科全書協(xié)作計劃開啟[11],，其宗旨是為全人類提供自由的百科全書，在短短幾年的時間里利用全球用戶的協(xié)作完成數(shù)十萬詞條（至今擁有上百萬詞條）知識,。維基百科的出現(xiàn)推動了很多基于維基百科的結(jié)構(gòu)化知識的知識庫的構(gòu)建,，DBpedia[10]、Yago[12]等都屬于這一類知識庫,。

Yago 是由德國馬普研究所于 2007 年開始的項目,，針對當(dāng)時的應(yīng)用僅使用單一源背景知識的情況，建立了一個高質(zhì)量,、高覆蓋的多源背景知識的知識庫,。前面介紹的專家構(gòu)建的 WordNet 擁有極高的準(zhǔn)確率的本體知識,，但知識覆蓋度僅限于一些常見的概念或?qū)嶓w；相比之下,，維基百科蘊含豐富的實體知識,，但維基百科多提供的概念的層次結(jié)構(gòu)類似標(biāo)簽結(jié)構(gòu)并不精確，直接用于本體構(gòu)建并不適合,。

Yago 的主要思路是將 WordNet 與維基百科二者的知識結(jié)合,，即利用 WordNet 的本體知識補充維基百科中實體的上位詞知識，從而獲取大規(guī)模高質(zhì)量,、高覆蓋的知識庫,。截至目前，Yago 擁有超過 1 千萬實體的 1.2 億條事實知識,，同時近些年也構(gòu)建起了與其他知識庫的鏈接關(guān)系,。

DBpedia 主要通過社區(qū)成員來定義和撰寫準(zhǔn)確的抽取模版，從維基百科中抽取結(jié)構(gòu)化信息（如 infobox）構(gòu)建大規(guī)模知識庫,，另外本體（即知識庫的元數(shù)據(jù),、schema）的構(gòu)建也是通過社區(qū)成員合作完成的。

由于維基百科是社區(qū)撰寫,，其知識表達(dá)難免有不一致的情況,，DBpedia 利用 mapping 技術(shù)與抽取模版來實現(xiàn)知識描述的統(tǒng)一與一致性。另外,，為了實現(xiàn)知識的更新與擴增,，DBpedia 開發(fā) DBpediaLive 來保持與維基百科的同步。在 2016 年發(fā)行的版本中,，DBpedia 擁有超過 6 百萬實體及其數(shù)十億事實知識,，其中人工構(gòu)建的本體庫包含 760 種類別信息。同時,，DBpedia 擁有大量的跨語言知識,，共擁有除英語外的 66 億其他語言事實知識。

2007 年,，Freebase[13]開始構(gòu)建,，類似維基百科，其內(nèi)容主要來自其社區(qū)成員的貢獻,，但與維基百科最大的不同之處在于 Freebase 中都是結(jié)構(gòu)化的知識,，在維基百科中人們編輯的是文章，而在 Freebase 中編輯的是知識,。

在 Freebase 中,，用戶是其主要核心，除了對實體的編輯,，用戶也參與本體庫的構(gòu)建,、知識的校對，以及與其他知識庫的鏈接工作,。除人工輸入知識,，Freebase 也主動導(dǎo)入知識，如維基百科的結(jié)構(gòu)化知識,。Freebase 擁有大約 2 千萬實體,，目前被 Google 公司收購，Freebase 的 API 服務(wù)已經(jīng)關(guān)閉但仍提供數(shù)據(jù)的下載,。

2012 年,，考慮到維基百科中大部分的知識都是非結(jié)構(gòu)組織起來的，帶來諸多問題（如：無法對知識進行有效的搜索與分析,，進而知識無法得到很好的重用,，甚至存在知識的不一致性的現(xiàn)象），維基媒體基金會推出 Wikidata 項目[14],，一個類似于 Freebase 的大規(guī)模社區(qū)成員合作知識哭,，旨在用一種全新的方式管理知識以克服以上的存在于維基百科中的問題。

以上所介紹的知識圖譜都是基于英文語言的,，即使是多語言知識圖譜也是以英文為主語言,，其他語言知識是用過跨語言知識（如：語言間鏈接（ILLs）、三元組對齊（TWA））鏈接得到,。

近些年,，國內(nèi)推出了大量以中文為主語言的知識圖譜，它們主要都是基于百度百科和維基百科的結(jié)構(gòu)化信息構(gòu)建起來的,。如上海交通大學(xué)的zhishi.me[19],、清華大學(xué)的XLore[20]、復(fù)旦大學(xué)的CN-pedia[21],。2017 年,，由國內(nèi)多所高校發(fā)起 cnSchema.org 項目[23]，旨在利用社區(qū)力量維護開放域知識圖譜的 Schema 標(biāo)準(zhǔn),。

基于自由文本的開放域知識圖譜構(gòu)建

上述介紹的知識圖譜的構(gòu)建方式包括人工編輯和自動抽取,，但自動抽取方法主要是基于在線百科中結(jié)構(gòu)化信息而忽略了非結(jié)構(gòu)化文本，而互聯(lián)網(wǎng)中大部分的信息恰恰是以非結(jié)構(gòu)化的自由文本形式呈現(xiàn),。與鏈接數(shù)據(jù)發(fā)展的同期,，很多基于信息抽取技術(shù)的知識獲取方法被提出，用以構(gòu)建基于自由文本的開放域知識圖譜,。

2007 年,，華盛頓大學(xué) Banko 等人[24]率先提出開放域信息抽取（OIE），直接從大規(guī)模自由文本中直接抽取實體關(guān)系三元組,，即頭實體,、關(guān)系指示詞，以及尾實體三部分,，類似于語義網(wǎng)中 RDF 規(guī)范的 SPO 結(jié)構(gòu),。

在 OIE 提出之前，也有很多面向自由文本的信息抽取被提出,，但這些方法主要的思路都是為每個目標(biāo)關(guān)系訓(xùn)練相應(yīng)的抽取器,。這類傳統(tǒng)的信息抽取方法在面對互聯(lián)網(wǎng)文本中海量的關(guān)系類別時無法高效工作，即為每個目標(biāo)關(guān)系訓(xùn)練抽取器時不現(xiàn)實的,，更為嚴(yán)重的是很多情況下面對海量的網(wǎng)絡(luò)文本我們無法事先明確關(guān)系的類型,。

OIE 通過直接識別關(guān)系詞組（relation phrases）也稱關(guān)系指示詞，即顯式表證實體關(guān)系的詞組,，來抽取實體關(guān)系,。基于 OIE 的指導(dǎo)思想,，華盛頓大學(xué)陸續(xù)推出TextRunner[24],、Reverb[25]、OLLIE[26]等基于自由文本的開放域三元組抽取系統(tǒng),；以及卡耐基梅隆大學(xué)的 NELL 系統(tǒng)[27,29],、德國馬普研究中心的 PATTY 等[28]。

這些系統(tǒng)有的需要自動構(gòu)造標(biāo)注的訓(xùn)練語料,，進而從中提取關(guān)系模版或訓(xùn)練分類器,；有的則依據(jù)語法或句法特征直接從分析結(jié)果中抽取關(guān)系三元組。接下來,，本文將簡要介紹下具有代表性的 Reverb 和 NELL 系統(tǒng)的實現(xiàn)思想,。

Reverb 針對之前的 OIE 系統(tǒng)中存在的兩個問題：不連貫抽取與信息缺失抽取，提出句法約束：對于多詞語關(guān)系詞組,，必須以動詞開頭,、以介詞結(jié)束，并且是由句子中毗鄰的單詞組成,。該約束可以有效緩解以上兩個問題造成的抽取失敗,。進一步，為了避免由句法約束帶來的冗長的并且過于明確的關(guān)系指示詞,，Reverb 引入了啟發(fā)式的詞法約束,。

總的來說，Reverb 提出了兩個簡單卻高效的約束,，在面向英文自由文本的開放域知識抽取中取得了不錯的效果,，很具啟發(fā)意義,。

never-ending learning 被定義為是一種不同于傳統(tǒng)的機器學(xué)習(xí)方式[29]，通過不斷地閱讀獲取知識,，并不斷提升學(xué)習(xí)知識的能力以及利用所學(xué)知識進行推理等邏輯思維,。NELL 就是一種這樣的智能體，其任務(wù)是學(xué)習(xí)如何閱讀網(wǎng)頁以獲取知識,。

NELL 的輸入有：

· 定義了類別和二元關(guān)系的初始本體庫,；

· 對于每個類別和關(guān)系的訓(xùn)練種子數(shù)據(jù),；

· 網(wǎng)頁數(shù)據(jù)（從預(yù)先準(zhǔn)備好的網(wǎng)頁集合中獲取,、每天從 Google 搜索 API 獲取）,；

· 偶爾的人工干預(yù),。

NELL 每天 24 小時不停歇的進行如下操作：

· 從網(wǎng)頁中閱讀（抽取）知識事實用以填充知識庫,，并移除之前存在于知識庫中不正確知識事實,，每個知識具有一定的置信度以及參考來源；

· 學(xué)習(xí)如何比前一天更好地閱讀（抽?。┲R事實,。

NELL 從 2010 年 1 月開始進行上述閱讀過程，目前所產(chǎn)生的知識庫已經(jīng)擁有超過 8 千萬的相互鏈接的事實,，以及上百萬學(xué)習(xí)到的短語,。

△ 圖3：NELL knowledge fragment

自動構(gòu)建的開放域中文實體知識圖譜——《大詞林》

上述所介紹的 OIE 系統(tǒng)大多專注于對開放域?qū)嶓w關(guān)系三元組的抽取，但忽略了對于知識圖譜不可或缺的同時也是至關(guān)重要的本體庫的構(gòu)建,，即知識圖譜元數(shù)據(jù)或稱為 Schema 的構(gòu)建,，是為三元組賦以語義的關(guān)鍵。

2014 年,，由哈爾濱工業(yè)大學(xué)社會計算與信息檢索研究中心發(fā)起的《大詞林》項目,，面向包括自由文本的多信息源對實體的類別信息進行自動抽取并層次化，進而實現(xiàn)對實體上下位關(guān)系體系的自動構(gòu)建,，而上下位關(guān)系體系正是本體庫的核心組成之一。

《大詞林》的構(gòu)建不需要領(lǐng)域?qū)＜业膮⑴c,，而是基于多信息源自動獲取實體類別并對可能的多個類別進行層次化,，從而達(dá)到知識庫自動構(gòu)建的效果。同時也正是由于《大詞林》具有自動構(gòu)建能力,，其數(shù)據(jù)規(guī)?？梢噪S著互聯(lián)網(wǎng)中實體詞的更新而擴大，很好地解決了以往的人工構(gòu)建知識庫對開放域?qū)嶓w的覆蓋程度極為有限的問題,。

另外,，相比以往的類別體系知識庫,，《大詞林》中類別體系的結(jié)構(gòu)也更加靈活。如《同義詞詞林（擴展版）》中每個實體具有具備五層結(jié)構(gòu),，其中第四層僅有代碼表示,，其余四層由代碼和詞語表示，而《大詞林》中類別體系結(jié)構(gòu)的層數(shù)不固定,，依據(jù)實體詞的不同而動態(tài)變化,，如“哈工大”一詞有 7 層之多，而“中國”一詞有 4 層,；另外,，《大詞林》中的每一層都是用類別詞或?qū)嶓w詞表示,。

△ 圖4：《大詞林》中“哈工大”的類別體系圖（左）和“中國”的類別體系圖（右）

自 2014 年 11 月 27 日上線,，《大詞林》不斷添加中文實體及其層次化類別信息，自動構(gòu)建開放域?qū)嶓w知識庫,。目前，《大詞林》中包括約 900 萬實體,、約 17 萬類別；平均每個命名實體有 1.77 個不同粒度的優(yōu)質(zhì)類別,；上下位關(guān)系超過 1 千萬對，其中實體與上位詞之間的上下位關(guān)系與上位詞之間的上下位關(guān)系準(zhǔn)確率均達(dá)到 90% 以上,。

《大詞林》（http://www./）系統(tǒng)網(wǎng)站支持用戶查詢?nèi)我鈱嶓w，并以有向圖的形式展現(xiàn)實體的層次化類別,，同時支持以目錄方式供用戶瀏覽部分公開的知識庫,。

人工智能中關(guān)鍵的一步是知識的獲取與構(gòu)建，《大詞林》作為基于上下位關(guān)系的中文知識庫,，隨著互聯(lián)網(wǎng)中實體詞的增加不斷擴充其數(shù)據(jù)規(guī)模,，并即將加入實體間關(guān)系、實體屬性等網(wǎng)狀關(guān)系結(jié)構(gòu),，這對于基于知識庫的智能系統(tǒng)無疑是一筆巨大的寶藏,。

參考文獻

[1] Singhal A. Introducing the knowledgegraph: things, not strings[J]. Official google blog, 2012.

[2] Feigenbaum E A. Expert systems in the1980s[J]. State of the art report on machine intelligence.Maidenhead:Pergamon-Infotech,1981.

[3] Lenat D B, Prakash M, Shepherd M. CYC:Using common sense knowledge to overcome brittleness and knowledge acquisition bottlenecks[J]. AI magazine, 1985, 6(4): 65.

[4] Miller G A. WordNet: a dictionary browser[J]. Information in Data, 1985: 25-28.

[5] Berners-Lee T. Semantic web roadmap[J]. 1998.

[6] Berners-Lee T, Hendler J, Lassila O.The semantic web[J]. Scientific american, 2001, 284(5): 28-37.

[7] Shadbolt N, Berners-Lee T, Hall W. Thesemantic web revisited[J]. IEEE intelligent systems, 2006, 21(3): 96-101.

[8]Berners-Lee T.Linked data-designissues[J]. http://www./DesignIssues/LinkedData.html, 2006.

[9] Berners-Lee T. The next web[J]. TED.com, 2009.

[10] Auer S, Bizer C, Kobilarov G, et al.Dbpedia: A nucleus for a web of open data[J]. The semantic web, 2007: 722-735.

[11] Wales J, Sanger L. Wikipedia: The free encyclopedia[J]. Accessed via 

http://en./wiki/Main_Page (27 November 2011), 2001.

[12] Suchanek F M, Kasneci G, Weikum G.Yago: a core of semantic knowledge[C] //Proceedings of the 16th international conference on World Wide Web. ACM, 2007: 697-706.

[13] Bollacker K, Cook R, Tufts P.Freebase: A shared database of structured general human knowledge[C]//AAAI.2007, 7: 1962-1963.

[14] Vrande?i? D. Wikidata: a new platformfor collaborative data collection[C] //Proceedings of the 21st International Conference on World Wide Web. ACM, 2012: 1063-1064.

[15] 梅家駒. 同義詞詞林[M]. 上海辭書出版社,1983.

[16] 《同義詞詞林（擴展版）》：https://www./download/

[17] 董振東, 董強. 知網(wǎng)簡介[J].1999-09-23.[2004-03-06]. http://www., 1999.

[18] Swick R R. Resource Description Framework (RDF) Model and Syntax Specification W3C Recommendation[J]. W3c Recommendation World Wide Web Consortium, 1999.

[19] Niu, X.; Sun, X.; Wang, H.; Rong, S.;Qi, G.; and Yu, Y. 2011. Zhishi. me-weaving chinese linking open data. TheSemantic Web–ISWC 2011 205–220.

[20] Wang, Z.; Li, J.; Wang, Z.; Li, S.;Li, M.; Zhang, D.; Shi, Y.; Liu, Y.; Zhang, P.; and Tang, J. 2013. Xlore: Alarge- scale english-chinese bilingual knowledge graph. In Pro- ceedings of the 2013th International Conference on Posters & Demonstrations Track-Volume1035, 121–124. CEUR- WS. org.

[21] Xu, B.; Xu, Y.; Liang, J.; Xie, C.;Liang, B.; Cui, W.; and Xiao, Y. 2017. Cn-dbpedia: A never-ending chinese knowledge extraction system. In International Conference on In- dustrial,Engineering and Other Applications of Applied In- telligent Systems, 428–438.Springer.

[22] 《大詞林》項目官網(wǎng):http://www.

[23] cnSchema官網(wǎng)：http://

[24] Michele Banko, Michael J Cafarella,Stephen Soderland, Matthew Broadhead, and Oren Etzioni. Open information extraction from the web. In IJCAI, volume 7, pages 2670– 2676, 2007.

[25] Anthony Fader, Stephen Soderland, andOren Etzioni. Identifying relations for open information extraction. InProceedings of the Conference on Empirical Methods in Natural Language Processing, pages 1535–1545. Association for Computational Linguistics, 2011.

[26] Michael Schmitz, Robert Bart, Stephen Soderland, Oren Etzioni, et al. Open language learning for information extraction. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pages523–534. Association for Computational Linguistics, 2012.

[27] Andrew Carlson, Justin Betteridge,Bryan Kisiel, Burr Settles, Estevam R Hruschka Jr, and Tom M Mitchell. Towardan architecture for never-ending language learning. In AAAI, volume 5, page 3,2010.

[28] Ndapandula Nakashole, Gerhard Weikum,and Fabian Suchanek. Patty: a taxonomy of relational patterns with semantictypes. In Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, pages1135–1145. Association for Computational Linguistics, 2012.

[29] T. Mitchell, W. Cohen, E. Hruschka, P.Talukdar, J. Betteridge, A. Carlson, B. Dalvi, M. Gardner, B. Kisiel, J.Krishnamurthy, N. Lao, K. Mazaitis, T. Mohamed, N. Nakashole, E. Platanios, A.Ritter, M. Samadi, B. Settles, R. Wang, D. Wijaya, A. Gupta, X. Chen, A.Saparov, M. Greaves, J. Welling. In Proceedings of the Conference on Artificial Intelligence (AAAI), 2015.