隨著騰訊產(chǎn)品與技術(shù)的發(fā)展,，幾乎任何一個(gè)與用戶相關(guān)的在線業(yè)務(wù)的數(shù)據(jù)量都在億級別，每日系統(tǒng)調(diào)用次數(shù)從億到百億,，對海量數(shù)據(jù)的高效插入和快速讀取變得越來越重要,。而傳統(tǒng)關(guān)系型數(shù)據(jù)庫模式固定、強(qiáng)調(diào)參照完整性,、數(shù)據(jù)的邏輯與物理形式相對獨(dú)立等,，比較適用于中小規(guī)模的數(shù)據(jù)，但對于數(shù)據(jù)的規(guī)模和并發(fā)讀寫方面進(jìn)行大規(guī)模擴(kuò)展時(shí),，RDBMS性能會(huì)大大降低,，分布式更為困難。

為什么會(huì)選擇HBase,？

高可靠性,。HBase是運(yùn)行在Hadoop上的NoSQL數(shù)據(jù)庫，它的數(shù)據(jù)由HDFS做了數(shù)據(jù)冗余,，具有高可靠性,。同時(shí)TDW（騰訊分布式數(shù)據(jù)倉庫）五年的穩(wěn)定運(yùn)行，8800臺(tái)的集群規(guī)模,，證明了其服務(wù)于海量數(shù)據(jù)的能力,。

高并發(fā)讀寫。使用日志文件（HLOG）和內(nèi)存存儲(chǔ)來將隨機(jī)寫轉(zhuǎn)換成順序?qū)?，保證穩(wěn)定的數(shù)據(jù)插入速率,；讀寫?yīng)毩ⅲ@兩種操作沒有沖突,。

低延遲,。數(shù)據(jù)按列存儲(chǔ),，數(shù)據(jù)即索引。

低成本,。歷史數(shù)據(jù)不能輕易刪除,，數(shù)據(jù)量變得越來越多，尤其是對于日志類存儲(chǔ),，寫多讀少,。而HBase可構(gòu)建在廉價(jià)的PC上，此外,，HBase支持較多的壓縮算法,。

本篇文章將對HBase在騰訊大數(shù)據(jù)的應(yīng)用情況做一個(gè)介紹。

數(shù)據(jù)接入-方便,、靈活

接入前臺(tái)化,、可配置化。只需在前臺(tái)配置入庫任務(wù),，按配置約定規(guī)范上報(bào)數(shù)據(jù),，即可實(shí)現(xiàn)將數(shù)據(jù)入庫HBase，方便,、簡潔,、快速。

接入方式多樣靈活,。業(yè)務(wù)也可根據(jù)HBase提供的API自己編寫代碼，實(shí)現(xiàn)數(shù)據(jù)寫入HBase,。在寫入量較大的情況下，業(yè)務(wù)側(cè)還需要維護(hù)一批寫入客戶端,，維護(hù)成本較高,。一般不推薦使用這種方式。

避免用戶重復(fù)編碼,、方便業(yè)務(wù)查詢HBase中的數(shù)據(jù)，我們封裝并提供了兩種查詢接口：HTTP查詢接口和TCP查詢接口,。同時(shí)支持點(diǎn)查詢和范圍查詢兩種查詢方式,。

通過發(fā)送HTTP POST請求方式查詢數(shù)據(jù)。適用于輕量查詢需求,例如客服業(yè)務(wù)受理查詢,，客戶只要開發(fā)一個(gè)自己的界面就可以使用,。返回的數(shù)據(jù)格式支持json,、xml、text,、idip（游戲業(yè)務(wù)定制的數(shù)據(jù)格式）四種,。

權(quán)限控制,。每個(gè)接入業(yè)務(wù)均分配一個(gè)用戶ID、IP白名單機(jī)制,，只有在開通了白名單的服務(wù)器上,，使用用戶ID才可以訪問歸屬業(yè)務(wù)的HBase表，當(dāng)多個(gè)業(yè)務(wù)共用一個(gè)HBase的情況下,，權(quán)限控制尤其必要,。針對敏感數(shù)據(jù)（如用戶畫像數(shù)據(jù)），權(quán)限進(jìn)一步控制到列級別,。即只有在開通了白名單的服務(wù)器上,，使用用戶ID才可以訪問開通了權(quán)限的HBase表中的某些列。

流量控制,?？刂茊喂P查詢的數(shù)據(jù)量大小以及查詢返回行數(shù)限制，同時(shí)監(jiān)控大查詢,。在多個(gè)小業(yè)務(wù)公用一個(gè)HBase情況,，可有效控制非必要場景下大量get數(shù)據(jù)業(yè)務(wù)間查詢相互影響的問題。

1. 游戲營銷活動(dòng)新渠道

2. 廣告日志處理

3. 業(yè)務(wù)受理查詢

4. 此外,，HBase在其他點(diǎn)擊交互日志或監(jiān)控日志系統(tǒng)上也有較多應(yīng)用，如網(wǎng)絡(luò)會(huì)話數(shù)據(jù),、秒級監(jiān)控平臺(tái)日志,、微信支付日志等。

隨著業(yè)務(wù)的發(fā)展以及HBase在騰訊的較多的成功應(yīng)用案例與推廣,，HBase的應(yīng)用還將繼續(xù)增多以及向核心應(yīng)用靠近的趨勢,。總的來說,，我們的目標(biāo),，降低接入使用門檻以及使用成本，使HBase能穩(wěn)定地部署到更多的應(yīng)用中去,， 以助力業(yè)務(wù)更快發(fā)展,。