 作者：蕭少聰 編輯：木環(huán) “ 好好用MySQL和PostgreSQL不就行了,？為啥阿里要勞神費力地又基于Greenplum的開源版本研發(fā)HybridDB方案？HybridDB方案深究之下,，有什么技術(shù)細節(jié)與故事,？ 編者按 先來講講OLTP和OLAP 數(shù)據(jù)庫領(lǐng)域中大家經(jīng)常會看到兩個詞：OLTP及OLAP。 舉例說明,，比如進行一次交易,，資金從A帳戶轉(zhuǎn)帳到B帳戶，這整個過程就是一次交易事務(wù),。如果過程中有任何系統(tǒng)錯誤,，交易會回滾A帳戶中的金額都回恢到操作前的狀態(tài)，這就是On-Line Transaction Processing聯(lián)機事務(wù)處理過程(OLTP)的操作,。在OLTP場景中用戶并發(fā)操作量會很大,，要求系統(tǒng)實時進行數(shù)據(jù)操作的響應(yīng)，在查詢時往往也是只會檢索一條或幾條明確的目標數(shù)據(jù),，以實現(xiàn)用戶的業(yè)務(wù)交互,。 OLAP意思是On-Line Analytical Processing聯(lián)機分析處理，顧名思義就是主要針對于數(shù)據(jù)的分析匯總操作,。如我們的業(yè)務(wù)系統(tǒng)中每天都需要出銷售日報,，這個操作需要對當(dāng)天所有數(shù)據(jù)進行匯總，并需要進行計算,，以得到全天收入,、產(chǎn)品銷售排名、分時段的銷售量,，甚至與過去30天及去年當(dāng)天進行對比,，這樣的操作都屬于OLAP。 業(yè)界早期使用數(shù)據(jù)時,，尤其是OLTP場景下,，通常選擇非分布式的關(guān)系型數(shù)據(jù)庫，如MySQL,、SQLServer,、Oracle、PostgreSQL即可滿足大部份的需求,。 OLAP中主流數(shù)據(jù)庫遭遇瓶頸 已有的兩個主流開源數(shù)據(jù)庫,，MySQL和PostgreSQL都是針對OLTP環(huán)境的,，在OLAP在線分析需求下它們的性能明顯不足。特別是MySQL在大規(guī)模分析操作時多表Join的性能是當(dāng)前互聯(lián)網(wǎng)用戶的一大痛點,。 在OLAP發(fā)展的早期,，其操作并沒有專門的數(shù)據(jù)庫支撐，直接就與OLTP業(yè)務(wù)放在同一個數(shù)據(jù)庫中完成,。但隨著業(yè)務(wù)量的增加,，OLAP每次要分析的數(shù)據(jù)量越來越大，這樣的分析操作執(zhí)行時就會導(dǎo)致數(shù)據(jù)庫的業(yè)務(wù)交易下降,。因此業(yè)界開始將OLTP,、OLAP拆分成兩套不同的數(shù)據(jù)庫進行處理，OLTP數(shù)據(jù)庫中的數(shù)據(jù)通過ETL軟件持續(xù)或定期抽取到OLAP數(shù)據(jù)庫,，讓業(yè)務(wù)交易與報表分析進行分離,。 而新的問題很快又到來了,，聯(lián)互網(wǎng)爆發(fā)后數(shù)據(jù)量也激增，OLTP的業(yè)務(wù)庫可以保存比較少的數(shù)據(jù)量如3個月到半年,，但OLAP的數(shù)據(jù)量將可能要保存幾年甚至更多,。單臺服務(wù)服務(wù)的性能上限已經(jīng)無法滿足OLAP分析數(shù)據(jù)持續(xù)增加所帶來的壓力，因此催生出如阿里HybridDB這樣的大規(guī)模并行處理（Massive Parallel Processing,，MPP）分布式OLAP數(shù)據(jù)庫,。 新的分布式OLAP數(shù)據(jù)庫 在提供HybridDB方案之前,，我們會給用戶提供如分庫分表等處理方案,，但這樣的方案對于SQL查詢內(nèi)容不確定的OLAP業(yè)務(wù)并不友好,。當(dāng)用戶需要進行多個數(shù)據(jù)表的組合操作時，由于數(shù)據(jù)需要跨服務(wù)器進行大規(guī)模的聚合,，性能十分低下。 這個問題在HybridDB中也同樣會出現(xiàn),，所幸的是,，Greenplum Database開源項目中借助平行的數(shù)據(jù)擴展技術(shù)及interconnect的專用協(xié)議,，通過自定義的網(wǎng)絡(luò)協(xié)議有效地解決了網(wǎng)絡(luò)瓶頸的問題,。這也是我們選擇基于Greenplum Database開源項目的原因之一。 MPP分布式OLAP數(shù)據(jù)庫系統(tǒng)架構(gòu)已經(jīng)發(fā)展了有10多年之久,，十分成熟,，當(dāng)前使用這類系統(tǒng)的企業(yè)都是中大型公司,。OLAP是一個很大的市場,，有別于如同EMR(Hadoop)的大數(shù)據(jù)分析市場,，它要求海量數(shù)據(jù)的SQL查詢在幾分鐘、幾秒,，甚至毫秒級返回結(jié)果,，因此對于服務(wù)器,、網(wǎng)絡(luò)及數(shù)據(jù)庫軟件本身的架構(gòu)都提出了很高的要求,。 技術(shù)攻堅之路 揭秘HybridDB方案 HybridDB基于開源Greenplum Database(內(nèi)核實際上就是PostgreSQL)項目的MPP分布式數(shù)據(jù)倉庫，與PostgreSQL不同,，HybridDB可以實現(xiàn)橫向擴展,，提供用戶需要的百GB到百TB的高性能分析能力,。 在阿里云官網(wǎng)上，HybridDB 歸結(jié)在 “數(shù)據(jù)庫” 和 “分析” 兩個類目,。阿里內(nèi)部已經(jīng)有業(yè)務(wù)開始使用 HybridDB ,，主要是看重它對SQL的豐富支持,，同時可以支持GIS數(shù)據(jù)類型及基于事務(wù)一致性的存儲過程,。 HybridDB最大的三個特色：
那么，HybridDB在OLAP讀取中都做了哪些優(yōu)化,？ 除此之外,，HybridDB還有哪些新意？ 數(shù)據(jù)存儲 本地存儲 外部存儲 高性能的數(shù)據(jù)分析是在本地存儲完成的,。OSS作為外部存儲,，HybridDB可以將OSS中的CSV格式化文本作為外部表進行數(shù)據(jù)查詢，同時還可以對這些外部表進行寫入操作,。寫入到OSS的數(shù)據(jù)可以提供給RDS for PostgreSQL或EMR等云數(shù)據(jù)庫服務(wù)進行讀取及處理,，因此也同時實現(xiàn)了數(shù)據(jù)的無縫打通。 同時我們也將支持“存儲計算分析”的模型,，在這樣模型上我們平時甚至可以只通過OSS進行數(shù)據(jù)的存儲,，當(dāng)需要進行計算時再開啟足夠的計算節(jié)點進行數(shù)據(jù)分析處理，計算處理結(jié)束后關(guān)閉計算節(jié)點資源以節(jié)省使用成本,。 HybridDB的幕后故事 扎根社區(qū) 在Greenplum Database的開源社區(qū)我們會有很多的合作,，甚至我們已經(jīng)在向開源社區(qū)提交新功能及patch,。同時Greenplum也是PostgreSQL開源數(shù)據(jù)庫生態(tài)重要的力量,，我個人同時作為PostgreSQL中國社區(qū)及用戶會的主席也當(dāng)然會進行更多線上線下活動的支持。 商業(yè)合作 Greenplum背后的公司是Pivotal,。所以同時也與Pivotal有更多的商業(yè)合作,。阿里也會與Pivotal方面進行持續(xù)的接觸,，相信我們會有機會碰出絢麗的火花,。 寫在最后 長期以來國外開源社區(qū)都認為中國用戶僅僅使用開源軟件，但是貢獻甚少,。不過，隨著阿里的發(fā)展,，我們已經(jīng)開始反哺開源社區(qū)并共同建立生態(tài),。幾個月前,，AliSQL的開源說明了阿里對開源業(yè)界的支持,。HybridDB同樣如此,，雖然我們的版本才剛剛發(fā)布,，但在版本研發(fā)的過程中已經(jīng)開始向社區(qū)共享代碼,。 阿里云當(dāng)前支持云數(shù)據(jù)庫HybridDB,，暫時沒有計劃去支持私有環(huán)境的Greenplum數(shù)據(jù)庫,。不過我們團隊的大神德哥,，會繼續(xù)貢獻他在使用Greenplum的經(jīng)驗心得,。希望對大家有所幫助。 用戶在線下可以使用Greenplum的開源數(shù)據(jù)庫版本或商業(yè)版本,，據(jù)我所了解也已經(jīng)有很多數(shù)據(jù)庫服務(wù)商開始提供Greenplum的技術(shù)支持，使用這個數(shù)據(jù)庫的用戶不需要再擔(dān)心未來上云遷移的問題,。同時,，我們也會在未來結(jié)合PostgreSQL及HybridDB提供一系列的使用教學(xué)視頻,，讓用戶更快速地掌握產(chǎn)品的正確使用場景及方法,。 作者簡介 蕭少聰,，Postgres中國社區(qū)/中國用戶會主席,，阿里云計算有限公司 ApsaraDB云數(shù)據(jù)庫產(chǎn)品專家。紅帽認證RHCA架構(gòu)師/EDB認證PostgreSQL數(shù)據(jù)庫專家,，參與的著作有《Linux系統(tǒng)案例精解》,、《深入理解大數(shù)據(jù)》,。在阿里主要負責(zé)PostgreSQL數(shù)據(jù)庫產(chǎn)品線,。 擁有多年開發(fā),、架構(gòu)設(shè)計及項目管理經(jīng)驗,，專注于開源Linux系統(tǒng)管理及Postgres數(shù)據(jù)庫,、優(yōu)化,、集群系統(tǒng),、云架構(gòu)設(shè)計。 今日薦文 點擊下方圖片即可閱讀 微信異步化改造實踐：8億月活,、萬臺機器背后的解決方案喜歡我們的會點贊,，愛我們的會分享,！ |
|
|
