文|歡醉

在互聯(lián)網(wǎng)的世界中數(shù)據(jù)都是以TB,、PB的數(shù)量級(jí)來(lái)增加的,，特別是像BAT光每天的日志文件一個(gè)盤(pán)都不夠，更何況是還要基于這些數(shù)據(jù)進(jìn)行分析挖掘，更甚者還要實(shí)時(shí)進(jìn)行數(shù)據(jù)分析,，學(xué)習(xí),，如雙十一淘寶的交易量的實(shí)時(shí)展示。

大數(shù)據(jù)什么叫大,？4個(gè)特征：

體量化 Volume,，就是量大。

多樣化 Variety,，可能是結(jié)構(gòu)型的數(shù)據(jù),，也可能是非結(jié)構(gòu)行的文本，圖片,，視頻,，語(yǔ)音，日志,，郵件等

快速化 Velocity,，產(chǎn)生快，處理也需要快,。

價(jià)值密度低 Value,，數(shù)據(jù)量大，但單個(gè)數(shù)據(jù)沒(méi)什么意義,，需要宏觀的統(tǒng)計(jì)體現(xiàn)其隱藏的價(jià)值,。

可以看出想只要一臺(tái)強(qiáng)大的服務(wù)器來(lái)實(shí)時(shí)處理這種體量的數(shù)據(jù)那是不可能的，而且成本昂貴,，代價(jià)相當(dāng)大，普通的關(guān)系型數(shù)據(jù)庫(kù)也隨著數(shù)據(jù)量的增大其處理時(shí)間也隨之增加,，那客戶(hù)是不可能忍受的,，所以我們需要Hadoop來(lái)解決此問(wèn)題。

優(yōu)點(diǎn)：

Hadoop是一個(gè)能夠讓用戶(hù)輕松架構(gòu)和使用的分布式計(jì)算平臺(tái),。用戶(hù)可以輕松地在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序,。它主要有以下幾個(gè)優(yōu)點(diǎn)：
高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴(lài),。
高擴(kuò)展性,。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中,。
高效性,。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡,，因此處理速度非?？臁?br> 高容錯(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本,，并且能夠自動(dòng)將失敗的任務(wù)重新分配,。
低成本。與一體機(jī),、商用數(shù)據(jù)倉(cāng)庫(kù)以及QlikView,、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開(kāi)源的,，項(xiàng)目的軟件成本因此會(huì)大大降低,。

Hadoop得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加載(ETL)方面上的天然優(yōu)勢(shì),。Hadoop的分布式架構(gòu),，將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ)，對(duì)例如像ETL這樣的批處理操作相對(duì)合適,，因?yàn)轭?lèi)似這樣操作的批處理結(jié)果可以直接走向存儲(chǔ),。Hadoop的MapReduce功能實(shí)現(xiàn)了將單個(gè)任務(wù)打碎，并將碎片任務(wù)(Map)發(fā)送到多個(gè)節(jié)點(diǎn)上,，之后再以單個(gè)數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉(cāng)庫(kù)里,。

Hadoop在各應(yīng)用中是最底層，最基礎(chǔ)的組件,，所以其重要性不言而喻,。

框架結(jié)構(gòu)

Hadoop主要由HDFS ( 分布式文件系統(tǒng))和MapReduce （并行計(jì)算框架）組成。

Hadoop 由許多元素構(gòu)成,。其最底部是 Hadoop Distributed File System（HDFS）,，它存儲(chǔ) Hadoop 集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。HDFS（對(duì)于本文）的上一層是MapReduce 引擎,，該引擎由 JobTrackers 和 TaskTrackers 組成,。通過(guò)對(duì)Hadoop分布式計(jì)算平臺(tái)最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過(guò)程,，以及數(shù)據(jù)倉(cāng)庫(kù)工具Hive和分布式數(shù)據(jù)庫(kù)Hbase的介紹,，基本涵蓋了Hadoop分布式平臺(tái)的所有技術(shù)核心。

HDFS

單節(jié)點(diǎn)物理結(jié)構(gòu)

主從結(jié)構(gòu)

主節(jié)點(diǎn),，只有一個(gè): namenode
從節(jié)點(diǎn)，有很多個(gè): datanodes

namenode負(fù)責(zé)：接收用戶(hù)操作請(qǐng)求 ,、維護(hù)文件系統(tǒng)的目錄結(jié)構(gòu),、管理文件與block之間關(guān)系，block與datanode之間關(guān)系

NameNode 是一個(gè)通常在 HDFS 實(shí)例中的單獨(dú)機(jī)器上運(yùn)行的軟件,。它負(fù)責(zé)管理文件系統(tǒng)名稱(chēng)空間和控制外部客戶(hù)機(jī)的訪問(wèn),。

datanode負(fù)責(zé)：存儲(chǔ)文件文件被分成block存儲(chǔ)在磁盤(pán)上、為保證數(shù)據(jù)安全,，文件會(huì)有多個(gè)副本

MapReduce 

主從結(jié)構(gòu)

主節(jié)點(diǎn)，只有一個(gè): JobTracker
從節(jié)點(diǎn)，有很多個(gè): TaskTrackers
JobTracker負(fù)責(zé)：接收客戶(hù)提交的計(jì)算任務(wù),、把計(jì)算任務(wù)分給TaskTrackers執(zhí)行,、監(jiān)控TaskTracker的執(zhí)行情況
TaskTrackers負(fù)責(zé)：執(zhí)行JobTracker分配的計(jì)算任務(wù)

Hadoop能做什么？

• 大數(shù)據(jù)量存儲(chǔ)：分布式存儲(chǔ)
• 日志處理: Hadoop擅長(zhǎng)這個(gè)
• 海量計(jì)算: 并行計(jì)算
• ETL:數(shù)據(jù)抽取到oracle,、mysql,、DB2、mongdb及主流數(shù)據(jù)庫(kù)
• 使用HBase做數(shù)據(jù)分析: 用擴(kuò)展性應(yīng)對(duì)大量的寫(xiě)操作—Facebook構(gòu)建了基于HBase的實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)
• 機(jī)器學(xué)習(xí): 比如Apache Mahout項(xiàng)目
• 搜索引擎:hadoop + lucene實(shí)現(xiàn)
• 數(shù)據(jù)挖掘：目前比較流行的廣告推薦
• 大量地從文件中順序讀,。HDFS對(duì)順序讀進(jìn)行了優(yōu)化,，代價(jià)是對(duì)于隨機(jī)的訪問(wèn)負(fù)載較高。
• 數(shù)據(jù)支持一次寫(xiě)入,，多次讀取,。對(duì)于已經(jīng)形成的數(shù)據(jù)的更新不支持。
• 數(shù)據(jù)不進(jìn)行本地緩存（文件很大,，且順序讀沒(méi)有局部性）
• 任何一臺(tái)服務(wù)器都有可能失效,，需要通過(guò)大量的數(shù)據(jù)復(fù)制使得性能不會(huì)受到大的影響。
• 用戶(hù)細(xì)分特征建模
• 個(gè)性化廣告推薦
• 智能儀器推薦

 擴(kuò)展

實(shí)際應(yīng)用：

Hadoop+HBase建立NoSQL分布式數(shù)據(jù)庫(kù)應(yīng)用

Flume+Hadoop+Hive建立離線(xiàn)日志分析系統(tǒng)

Flume+Logstash+Kafka+Spark Streaming進(jìn)行實(shí)時(shí)日志處理分析

酷狗音樂(lè)的大數(shù)據(jù)平臺(tái)

京東的智能供應(yīng)鏈預(yù)測(cè)系統(tǒng)

Hadoop的學(xué)習(xí)不僅僅是學(xué)習(xí)Hadoop,，還要學(xué)習(xí)Linux,，網(wǎng)絡(luò)知識(shí)，Java,、還有數(shù)據(jù)結(jié)構(gòu)和算法等等,，所以萬(wàn)里長(zhǎng)征才開(kāi)始第一步，希望Hadoop學(xué)習(xí)不是從了解到放棄,。

End.

轉(zhuǎn)載請(qǐng)注明來(lái)自36大數(shù)據(jù)（)：36大數(shù)據(jù) ? 零基礎(chǔ)搭建Hadoop大數(shù)據(jù)處理-初識(shí)