Hadoop是由Apache基金會開發(fā)的一個大數(shù)據(jù)分布式系統(tǒng)基礎(chǔ)架構(gòu),，最早版本是2003年原Yahoo! Doug Cutting根據(jù)Google發(fā)布的學(xué)術(shù)論文研究而來。用戶可以在不了解分布式底層細節(jié)的情況下,，輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序,。低成本、高可靠,、高擴展,、高有效、高容錯等特性讓Hadoop成為最流行的大數(shù)據(jù)分析系統(tǒng),，然而其賴以生存的HDFS和MapReduce組件卻讓其一度陷入困境——批處理的工作方式讓其只適用于離線數(shù)據(jù)處理,，在要求實時性的場景下毫無用武之地。因此,，各種基于Hadoop的工具應(yīng)運而生,，本次為大家分享Hadoop生態(tài)系統(tǒng)中最常用的13個開源工具,，其中包括資源調(diào)度,、流計算及各種業(yè)務(wù)針對應(yīng)用場景。首先,，我們看資源管理相關(guān),。
CSDN推薦：歡迎免費訂閱《Hadoop與大數(shù)據(jù)周刊》獲取更多Hadoop技術(shù)文獻、大數(shù)據(jù)技術(shù)分析,、企業(yè)實戰(zhàn)經(jīng)驗,，生態(tài)圈發(fā)展趨勢,。
資源統(tǒng)一管理/調(diào)度系統(tǒng)
在公司和機構(gòu)中，服務(wù)器往往會因為業(yè)務(wù)邏輯被拆分為多個集群,，基于數(shù)據(jù)密集型的處理框架也是不斷涌現(xiàn),，比如支持離線處理的MapReduce、支持在線處理的Storm及Impala,、支持迭代計算的Spark及流處理框架S4,，它們誕生于不同的實驗室，并各有所長,。為了減少管理成本,，提升資源的利用率，一個共同的想法產(chǎn)生——讓這些框架運行在同一個集群上,；因此,，就有了當下眾多的資源統(tǒng)一管理/調(diào)度系統(tǒng)，比如Google的Borg,、Apache的YARN,、Twitter的Mesos（已貢獻給Apache基金會）、騰訊搜搜的Torca,、Facebook Corona（開源）,，本次為大家重點介紹Apache Mesos及YARN：
1. Apache Mesos
代碼托管地址：Apache SVN
Mesos提供了高效、跨分布式應(yīng)用程序和框架的資源隔離和共享,，支持Hadoop,、 MPI、Hypertable,、Spark等,。
Mesos是Apache孵化器中的一個開源項目，使用ZooKeeper實現(xiàn)容錯復(fù)制,，使用Linux Containers來隔離任務(wù),，支持多種資源計劃分配（內(nèi)存和CPU）。提供Java,、Python和C++
APIs來開發(fā)新的并行應(yīng)用程序,，提供基于Web的用戶界面來提查看集群狀態(tài)。
2. Hadoop YARN
代碼托管地址：Apache SVN
YARN又被稱為MapReduce 2.0,，借鑒Mesos,，YARN提出了資源隔離解決方案Container，但是目前尚未成熟,，僅僅提供 Java
虛擬機內(nèi)存的隔離,。
對比MapReduce 1.x，YARN架構(gòu)在客戶端上并未做太大的改變,，在調(diào)用 API 及接口上還保持大部分的兼容,，然而在YARN中,，開發(fā)人員使用 ResourceManager、ApplicationMaster
與 NodeManager代替了原框架中核心的 JobTracker 和 TaskTracker,。其中 ResourceManager
是一個中心的服務(wù),，負責(zé)調(diào)度、啟動每一個 Job 所屬的 ApplicationMaster,，另外還監(jiān)控 ApplicationMaster 的存在情況,；NodeManager負責(zé)
Container 狀態(tài)的維護，并向 RM 保持心跳,。ApplicationMaster 負責(zé)一個 Job 生命周期內(nèi)的所有工作,，類似老的框架中
JobTracker。
Hadoop上的實時解決方案
前面我們有說過,，在互聯(lián)網(wǎng)公司中基于業(yè)務(wù)邏輯需求,，企業(yè)往往會采用多種計算框架，比如從事搜索業(yè)務(wù)的公司：網(wǎng)頁索引建立用MapReduce,，自然語言處理用Spark等,。本節(jié)為大家分享的則是Storm、Impala,、Spark三個框架：
3. Cloudera Impala
代碼托管地址：GitHub
Impala是由Cloudera開發(fā),，一個開源的Massively Parallel Processing（MPP）查詢引擎 。與Hive相同的元數(shù)據(jù),、SQL語法,、ODBC驅(qū)動程序和用戶接口(Hue
Beeswax)，可以直接在HDFS或HBase上提供快速,、交互式SQL查詢,。Impala是在Dremel的啟發(fā)下開發(fā)的，第一個版本發(fā)布于2012年末,。
Impala不再使用緩慢的Hive+MapReduce批處理,，而是通過與商用并行關(guān)系數(shù)據(jù)庫中類似的分布式查詢引擎（由Query Planner、Query
Coordinator和Query Exec Engine三部分組成）,，可以直接從HDFS或者HBase中用SELECT,、JOIN和統(tǒng)計函數(shù)查詢數(shù)據(jù)，從而大大降低了延遲,。
4. Spark
代碼托管地址：Apache
Spark是個開源的數(shù)據(jù)分析集群計算框架,，最初由加州大學(xué)伯克利分校AMPLab開發(fā)，建立于HDFS之上,。Spark與Hadoop一樣,，用于構(gòu)建大規(guī)模,、低延時的數(shù)據(jù)分析應(yīng)用,。Spark采用Scala語言實現(xiàn),，使用Scala作為應(yīng)用框架。
Spark采用基于內(nèi)存的分布式數(shù)據(jù)集,，優(yōu)化了迭代式的工作負載以及交互式查詢,。與Hadoop不同的是，Spark和Scala緊密集成,，Scala像管理本地collective對象那樣管理分布式數(shù)據(jù)集,。Spark支持分布式數(shù)據(jù)集上的迭代式任務(wù)，實際上可以在Hadoop文件系統(tǒng)上與Hadoop一起運行（通過YARN,、Mesos等實現(xiàn)）,。
5. Storm
代碼托管地址：GitHub
Storm是一個分布式的、容錯的實時計算系統(tǒng),，由BackType開發(fā),，后被Twitter捕獲。Storm屬于流處理平臺,，多用于實時計算并更新數(shù)據(jù)庫,。Storm也可被用于“連續(xù)計算”（continuous
computation），對數(shù)據(jù)流做連續(xù)查詢,，在計算時就將結(jié)果以流的形式輸出給用戶,。它還可被用于“分布式RPC”，以并行的方式運行昂貴的運算,。
Hadoop上的其它解決方案
就像前文說,，基于業(yè)務(wù)對實時的需求，各個實驗室發(fā)明了Storm,、Impala,、Spark、Samza等流實時處理工具,。而本節(jié)我們將分享的是實驗室基于性能,、兼容性、數(shù)據(jù)類型研究的開源解決方案,，其中包括Shark,、Phoenix、Apache
Accumulo,、Apache Drill,、Apache Giraph、Apache Hama,、Apache Tez,、Apache Ambari。
6. Shark
代碼托管地址：GitHub
Shark，代表了“Hive on Spark”,，一個專為Spark打造的大規(guī)模數(shù)據(jù)倉庫系統(tǒng),，兼容Apache Hive。無需修改現(xiàn)有的數(shù)據(jù)或者查詢,，就可以用100倍的速度執(zhí)行Hive
QL,。
Shark支持Hive查詢語言、元存儲,、序列化格式及自定義函數(shù),，與現(xiàn)有Hive部署無縫集成，是一個更快,、更強大的替代方案,。
7. Phoenix
代碼托管地址：GitHub
Phoenix是構(gòu)建在Apache HBase之上的一個SQL中間層，完全使用Java編寫,，提供了一個客戶端可嵌入的JDBC驅(qū)動,。Phoenix查詢引擎會將SQL查詢轉(zhuǎn)換為一個或多個HBase
scan，并編排執(zhí)行以生成標準的JDBC結(jié)果集,。直接使用HBase API,、協(xié)同處理器與自定義過濾器，對于簡單查詢來說,，其性能量級是毫秒,，對于百萬級別的行數(shù)來說，其性能量級是秒,。Phoenix完全托管在GitHub之上,。
Phoenix值得關(guān)注的特性包括：1，嵌入式的JDBC驅(qū)動,，實現(xiàn)了大部分的java.sql接口,，包括元數(shù)據(jù)API；2,，可以通過多個行鍵或是鍵/值單元對列進行建模,；3，DDL支持,；4,，版本化的模式倉庫；5,，DML支持,；5，通過客戶端的批處理實現(xiàn)的有限的事務(wù)支持,；6,，緊跟ANSI
SQL標準,。
8. Apache Accumulo
代碼托管地址：Apache SVN
Apache Accumulo是一個可靠的、可伸縮的,、高性能,、排序分布式的鍵值存儲解決方案，基于單元訪問控制以及可定制的服務(wù)器端處理,。使用
Google BigTable設(shè)計思路，基于Apache Hadoop,、Zookeeper和Thrift構(gòu)建,。Accumulo最早由NSA開發(fā)，后被捐獻給了Apache基金會,。
對比Google BigTable,，Accumulo主要提升在基于單元的訪問及服務(wù)器端的編程機制，后一處修改讓Accumulo可以在數(shù)據(jù)處理過程中任意點修改鍵值對,。
9. Apache Drill
代碼托管地址：GitHub
本質(zhì)上,，Apache Drill是Google Dremel的開源實現(xiàn)，本質(zhì)是一個分布式的mpp查詢層,，支持SQL及一些用于NoSQL和Hadoop數(shù)據(jù)存儲系統(tǒng)上的語言,，將有助于Hadoop用戶實現(xiàn)更快查詢海量數(shù)據(jù)集的目的。當下Drill還只能算上一個框架,，只包含了Drill愿景中的初始功能,。
Drill的目的在于支持更廣泛的數(shù)據(jù)源、數(shù)據(jù)格式及查詢語言,，可以通過對PB字節(jié)數(shù)據(jù)的快速掃描（大約幾秒內(nèi)）完成相關(guān)分析,，將是一個專為互動分析大型數(shù)據(jù)集的分布式系統(tǒng)。
10. Apache Giraph
代碼托管地址：GitHub
Apache Giraph是一個可伸縮的分布式迭代圖處理系統(tǒng),，靈感來自BSP（bulk synchronous parallel）和Google的Pregel,，與它們
區(qū)別于則是是開源、基于 Hadoop 的架構(gòu)等,。
Giraph處理平臺適用于運行大規(guī)模的邏輯計算,，比如頁面排行、共享鏈接,、基于個性化排行等,。Giraph專注于社交圖計算，被Facebook作為其Open
Graph工具的核心,，幾分鐘內(nèi)處理數(shù)萬億次用戶及其行為之間的連接,。
11. Apache Hama
代碼托管地址：GitHub
Apache Hama是一個建立在Hadoop上基于BSP（Bulk Synchronous Parallel）的計算框架，模仿了Google的Pregel,。用來處理大規(guī)模的科學(xué)計算,，特別是矩陣和圖計算。集群環(huán)境中的系統(tǒng)架構(gòu)由
BSPMaster/GroomServer（Computation Engine）、Zookeeper（Distributed Locking）,、HDFS/HBase（Storage
Systems）這3大塊組成,。
12. Apache Tez
代碼托管地址：GitHub
Apache Tez是基于Hadoop Yarn之上的DAG（有向無環(huán)圖，Directed Acyclic Graph）計算框架,。它把Map/Reduce過程拆分成若干個子過程,，同時可以把多個Map/Reduce任務(wù)組合成一個較大的DAG任務(wù)，減少了Map/Reduce之間的文件存儲,。同時合理組合其子過程,，減少任務(wù)的運行時間。由Hortonworks開發(fā)并提供主要支持,。
13. Apache Ambari
代碼托管地址：Apache SVN
Apache Ambari是一個供應(yīng),、管理和監(jiān)視Apache Hadoop集群的開源框架，它提供一個直觀的操作工具和一個健壯的Hadoop
API,可以隱藏復(fù)雜的Hadoop操作,，使集群操作大大簡化,，首個版本發(fā)布于2012年6月。
Apache Ambari現(xiàn)在是一個Apache的頂級項目,，早在2011年8月,，Hortonworks引進Ambari作為Apache Incubator項目，制定了Hadoop集群極致簡單管理的愿景,。在兩年多的開發(fā)社區(qū)顯著成長,，從一個小團隊，成長為Hortonworks各種組織的貢獻者,。Ambari用戶群一直在穩(wěn)步增長,，許多機構(gòu)依靠Ambari在其大型數(shù)據(jù)中心大規(guī)模部署和管理Hadoop集群。
目前Apache Ambari支持的Hadoop組件包括：HDFS,、MapReduce,、Hive、HCatalog,、HBase,、ZooKeeper、Oozie,、Pig及Sqoop,。（文/仲浩 審校/周小璐）
