騰訊開(kāi)源進(jìn)化 8 年,，進(jìn)入爆發(fā)期！

繼剛剛連續(xù)開(kāi)源 TubeMQ,、Tencent Kona JDK,、TBase、TKEStack 四款重點(diǎn)開(kāi)源項(xiàng)目后,，騰訊開(kāi)源再次迎來(lái)重磅項(xiàng)目,！北京時(shí)間 11 月 14 日，騰訊正式宣布開(kāi)源高性能圖計(jì)算框架 Plato,，這是在短短一周之內(nèi),，騰訊開(kāi)源的第五個(gè)重大項(xiàng)目。

據(jù)騰訊官方介紹,，Plato 是騰訊內(nèi)部圖計(jì)算 TGraph 團(tuán)隊(duì)整合內(nèi)部資源自主研發(fā)的一款高性能圖計(jì)算框架,，取名 Plato 是為了致敬偉大的數(shù)學(xué)家柏拉圖，目前騰訊云大數(shù)據(jù)團(tuán)隊(duì)正在封裝 Plato,，即將對(duì)所有開(kāi)發(fā)者開(kāi)放使用,。

相對(duì)于目前全球范圍內(nèi)其它的圖計(jì)算框架，Plato 可滿足十億級(jí)節(jié)點(diǎn)的超大規(guī)模圖計(jì)算需求,，將算法計(jì)算時(shí)間從天級(jí)縮短到分鐘級(jí),，性能全面領(lǐng)先領(lǐng)先于其它主流分布式圖計(jì)算框架，并且打破了原本動(dòng)輒需要數(shù)百臺(tái)服務(wù)器的資源瓶頸,，現(xiàn)在,，最少只需要十臺(tái)服務(wù)器即可完成計(jì)算。

騰訊 Plato 團(tuán)隊(duì)負(fù)責(zé)人于東海表示：“Plato 已經(jīng)賦能騰訊內(nèi)部包括微信在內(nèi)的眾多核心業(yè)務(wù),，尤其是為騰訊超大規(guī)模社交網(wǎng)絡(luò)圖數(shù)據(jù)的各類計(jì)算提供支撐,，解決了現(xiàn)有其他計(jì)算框架無(wú)法在有限資源和有限時(shí)間內(nèi)完成計(jì)算的難點(diǎn)。Plato 不僅為騰訊創(chuàng)造了巨大的業(yè)務(wù)價(jià)值,，開(kāi)源后還將持續(xù)推動(dòng)圖計(jì)算技術(shù)和行業(yè)的協(xié)同發(fā)展,，加速創(chuàng)新?！?/p>

詳解騰訊高性能圖計(jì)算開(kāi)源框架 Plato

實(shí)際上,，圖計(jì)算的“圖”并不是指普通的圖像和照片，而是用于表示對(duì)象之間關(guān)聯(lián)關(guān)系的一種抽象數(shù)據(jù)結(jié)構(gòu),，圖計(jì)算就是以圖作為數(shù)據(jù)模型來(lái)表達(dá)問(wèn)題并予以解決的過(guò)程,。圖計(jì)算可以將不同來(lái)源、不同類型的數(shù)據(jù)融合到同一個(gè)圖里進(jìn)行分析,，得到原本獨(dú)立分析難以發(fā)現(xiàn)的結(jié)果,，因此成為社交網(wǎng)絡(luò),、推薦系統(tǒng)、網(wǎng)絡(luò)安全,、文本檢索和生物醫(yī)療等領(lǐng)域至關(guān)重要的數(shù)據(jù)分析和挖掘工具,。

據(jù)了解，Plato 的計(jì)算性能方面極其強(qiáng)悍,，比目前市場(chǎng)上最為領(lǐng)先的圖計(jì)算框架 Spark GraphX 還高出 1-2 個(gè)數(shù)量級(jí),，它將算法計(jì)算時(shí)間從天級(jí)縮短到分鐘級(jí)，性能提升數(shù)十倍,，也標(biāo)志著圖計(jì)算全面進(jìn)入分鐘級(jí)時(shí)代,。

另外一個(gè)巨大優(yōu)勢(shì)是，Plato 在內(nèi)存消耗方面遠(yuǎn)小于主流的圖計(jì)算框架,，比 Spark GraphX 減少 1－2 個(gè)數(shù)量級(jí),，僅需 10 臺(tái)服務(wù)器左右的中小規(guī)模集群，即可完成超大規(guī)模圖計(jì)算,，相比此前動(dòng)輒需要數(shù)百臺(tái)服務(wù)器的限制,，資源壓力和計(jì)算成本都得到了極大降低,。

目前,，Plato 主要提供兩大核心能力：騰訊數(shù)據(jù)量級(jí)下的離線圖計(jì)算和騰訊數(shù)據(jù)量級(jí)下的圖表示學(xué)習(xí)。

同時(shí),，Plato 天然適配 Kubernetes,、YARN 等資源調(diào)度平臺(tái)，并提供支持主流文件系統(tǒng)的多種接口,，能為開(kāi)發(fā)者提供更友好的運(yùn)行環(huán)境,。

架構(gòu)設(shè)計(jì)上，Plato 框架的核心是自適應(yīng)圖計(jì)算引擎,，它能夠根據(jù)不同類型的圖算法,，提供多種計(jì)算模式供開(kāi)發(fā)者靈活選擇，包括自適應(yīng)計(jì)算模式,、共享內(nèi)存計(jì)算模式和流水線計(jì)算模式等,。另外，還設(shè)計(jì)了良好的接口支持接入新的計(jì)算通信模式,。

在計(jì)算引擎之上,，Plato 為算法設(shè)計(jì)者或具體的業(yè)務(wù)提供多層次接口：從底層的 API，到圖算法庫(kù),，再到為具體業(yè)務(wù)量身打造的“解決方案”——圖工具集,。通過(guò)這些應(yīng)用層的接口和工具，Plato 還可以把離線計(jì)算結(jié)果與其他機(jī)器學(xué)習(xí)算法相結(jié)合,，共同支撐頂層的不同業(yè)務(wù),。

值得一提的是,，目前 Plato 的算法庫(kù)中的圖特征、節(jié)點(diǎn)中心性指標(biāo),、連通圖和社團(tuán)識(shí)別等多種算法都已經(jīng)開(kāi)源,，未來(lái)還將進(jìn)一步開(kāi)源更多的算法。

性能對(duì)比

據(jù)騰訊官方介紹,，Plato 的計(jì)算性能遙遙領(lǐng)先于主流的分布式圖計(jì)算框架,。下圖選取了 Plato 與 Spark GraphX 在 PageRank 和 LPA 這兩個(gè) benchmark 算法的性能對(duì)比，可以看到,，Plato 的性能比 Spark GraphX 高出 1-2 個(gè)數(shù)量級(jí),。

除了計(jì)算性能不足，內(nèi)存占用過(guò)大也是限制大規(guī)模圖計(jì)算的主要因素,。Plato 的另一個(gè)巨大優(yōu)勢(shì)則是它的內(nèi)存開(kāi)銷遠(yuǎn)小于主流圖計(jì)算框架,。從下圖看到，Plato 的內(nèi)存消耗比 Spark GraphX 減少了 1-2 個(gè)數(shù)量級(jí),，為超大規(guī)模圖計(jì)算創(chuàng)造了更大的想象空間,。

Plato 不僅在 benchmark 算法中獨(dú)樹(shù)一幟，在真實(shí)的業(yè)務(wù)算法中也同樣成效卓著,。在騰訊數(shù)據(jù)量級(jí)下,，Plato 的計(jì)算性能也非常優(yōu)秀。下圖給出了 Plato 在騰訊數(shù)據(jù)量級(jí)下的共同類計(jì)算,、Node2Vec,、LINE、GraphSage 等典型業(yè)務(wù)算法的性能,。

騰訊開(kāi)源 8 年進(jìn)化：86 個(gè)項(xiàng)目,，GitHub 排名前十

從 2011 年騰訊在內(nèi)部提倡以公共組件的形式共享和復(fù)用代碼、2012 年發(fā)布第一個(gè)對(duì)外開(kāi)源項(xiàng)目到今天,，騰訊開(kāi)源已經(jīng)走過(guò)了 8 年,，也已取得豐碩成果。截止目前,，騰訊已經(jīng)在 GitHub 上已經(jīng)開(kāi)源了 86 個(gè)項(xiàng)目,，超過(guò) 1000 個(gè)貢獻(xiàn)者參與了開(kāi)源貢獻(xiàn)，擁有超過(guò) 25 萬(wàn)個(gè) Star 數(shù),，在 GitHub 全球公司貢獻(xiàn)榜上排名前十,。

同時(shí)，騰訊業(yè)已加入 Linux,、Apache 等 9 大開(kāi)源基金會(huì),，成為最高級(jí)別會(huì)員，并向 Linux,、Apache,、LF AI 等開(kāi)源基金會(huì)捐贈(zèng) 3 大優(yōu)秀開(kāi)源項(xiàng)目,。2018 年，騰訊將高性能 RPC 開(kāi)發(fā)框架 TARS,，及其輕量化名字服務(wù)方案 TSeer 捐贈(zèng)給 Linux 基金會(huì),，將業(yè)界領(lǐng)先的深度學(xué)習(xí)框架 Angel 捐贈(zèng)給 Linux 旗下專注人工智能的 LF AI 基金會(huì)；2019 年,，騰訊新發(fā)布的萬(wàn)億級(jí)分布式消息中間件 TubeMQ 捐贈(zèng)給 Apache 基金會(huì),，成為官方認(rèn)可的 Incubator 項(xiàng)目。

總結(jié)來(lái)看,，騰訊通過(guò)“三步走”的開(kāi)源計(jì)劃,，通過(guò)代碼開(kāi)放和社區(qū)運(yùn)營(yíng)，不斷深化騰訊已有的技術(shù)能力,，向協(xié)同開(kāi)放和社區(qū)開(kāi)放治理的縱深方向發(fā)展,。

具體來(lái)說(shuō)，第一步是內(nèi)部開(kāi)源協(xié)同,。首先拉通內(nèi)部項(xiàng)目和組織,，通過(guò)部門(mén)小團(tuán)隊(duì)作戰(zhàn)或跨部門(mén)大團(tuán)隊(duì)作戰(zhàn)的方式協(xié)同推進(jìn)，以優(yōu)化資源配置的方式集中優(yōu)勢(shì)尋求技術(shù)突破,，并建立起篩選機(jī)制將代碼開(kāi)放出來(lái),。

第二步是外部代碼開(kāi)放。優(yōu)化設(shè)計(jì)與代碼結(jié)構(gòu),，不斷拓展落地場(chǎng)景,，有效利用外部貢獻(xiàn)者資源實(shí)現(xiàn)資源整合，構(gòu)建技術(shù)影響力,。

第三步是社區(qū)開(kāi)放治理，在這一階段,，注重大規(guī)模技術(shù)推廣與應(yīng)用,、開(kāi)發(fā)者生態(tài)體系構(gòu)建、社區(qū)領(lǐng)袖與領(lǐng)導(dǎo)力培養(yǎng),、全社會(huì)研發(fā)資源的優(yōu)化配置四個(gè)方面,。

對(duì)于騰訊為什么如此重視開(kāi)源治理，騰訊開(kāi)源聯(lián)盟（TOSA）主席,、騰訊技術(shù)工程事業(yè)群數(shù)據(jù)平臺(tái)部大數(shù)據(jù)海量存儲(chǔ)與海量計(jì)算負(fù)責(zé)人堵俊平在接受 CSDN（ID：CSDNnews）采訪時(shí)談到了至關(guān)重要的兩點(diǎn)：「第一點(diǎn),，騰訊對(duì)于開(kāi)源的態(tài)度非常成熟，開(kāi)源不是像其他公司開(kāi)源出去大家贏得掌聲就結(jié)束了,。開(kāi)源代碼開(kāi)放只是第一步,，第二步是建立好的社區(qū)，第三步是通過(guò)這個(gè)好的社區(qū)進(jìn)行技術(shù)挖掘,。給生態(tài)上的各個(gè)企業(yè)帶來(lái)一些回報(bào),，這是很長(zhǎng)期的過(guò)程,，不是一次代碼開(kāi)放就解決的。第二點(diǎn),，騰訊是做社交起家的,，很擅長(zhǎng)于做人與人之間的連接，開(kāi)源能夠做成功和騰訊包容和溝通是離不開(kāi)的,，這就是為什么我們比較重視這一點(diǎn),。」