什么是Apache Spark? Apache Spark是一個(gè)為速度和通用目標(biāo)設(shè)計(jì)的集群計(jì)算平臺。 從速度的角度看,，Spark從流行的MapReduce模型繼承而來,，可以更有效地支持多種類型的計(jì)算，如交互式查詢和流處理,。速度在大數(shù)據(jù)集的處理中非常重要,，它可以決定用戶可以交互式地處理數(shù)據(jù)，還是等幾分鐘甚至幾小時(shí),。Spark為速度提供的一個(gè)重要特性是其可以在內(nèi)存中運(yùn)行計(jì)算,，即使對基于磁盤的復(fù)雜應(yīng)用，Spark依然比MapReduce更有效,。 從通用性來說,，Spark可以處理之前需要多個(gè)獨(dú)立的分布式系統(tǒng)來處理的任務(wù)，這些任務(wù)包括批處理應(yīng)用,、交互式算法,、交互式查詢和數(shù)據(jù)流。通過用同一個(gè)引擎支持這些任務(wù),，Spark使得合并不同的處理類型變得簡單,，而合并操作在生產(chǎn)數(shù)據(jù)分析中頻繁使用。而且,，Spark降低了維護(hù)不同工具的管理負(fù)擔(dān),。 Spark被設(shè)計(jì)的高度易訪問，用Python,、Java,、Scala和SQL提供簡單的API，而且提供豐富的內(nèi)建庫,。Spark也與其他大數(shù)據(jù)工具進(jìn)行了集成,。特別地，Spark可以運(yùn)行在Hadoop的集群上,，可以訪問任何Hadoop的數(shù)據(jù)源,，包括Cassandra。 Spark 核心組件 Spark核心組件包含Spark的基本功能,，有任務(wù)調(diào)度組件,、內(nèi)存管理組件、容錯(cuò)恢復(fù)組件,、與存儲系統(tǒng)交互的組件等,。Spark核心組件提供了定義彈性分布式數(shù)據(jù)集(resilient distributed datasets，RDDs)的API,，這組API是Spark主要的編程抽象,。RDDs表示分布在多個(gè)不同機(jī)器節(jié)點(diǎn)上，可以被并行處理的數(shù)據(jù)集合,。Spark核心組件提供許多API來創(chuàng)建和操作這些集合,。 Spark SQL：Spark SQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)的包。它使得可以像Hive查詢語言(Hive Query Language, HQL)一樣通過SQL語句來查詢數(shù)據(jù),，支持多種數(shù)據(jù)源,，包括Hive表、Parquet和JSON,。除了為Spark提供一個(gè)SQL接口外,，Spark SQL允許開發(fā)人員將SQL查詢和由RDDs通過Python、Java和Scala支持的數(shù)據(jù)編程操作混合進(jìn)一個(gè)單一的應(yīng)用中,，進(jìn)而將SQL與復(fù)雜的分析結(jié)合,。與計(jì)算密集型環(huán)境緊密集成使得Spark SQL不同于任何其他開源的數(shù)據(jù)倉庫工具。Spark SQL在Spark 1.0版本中引入Spark,。 Shark是一個(gè)較老的由加利福尼亞大學(xué)和伯克利大學(xué)開發(fā)的Spark上的SQL項(xiàng)目,，通過修改Hive而運(yùn)行在Spark上。現(xiàn)在已經(jīng)被Spark SQL取代,，以提供與Spark引擎和API更好的集成,。 Spark Streaming：Spark流作為Spark的一個(gè)組件，可以處理實(shí)時(shí)流數(shù)據(jù),。流數(shù)據(jù)的例子有生產(chǎn)環(huán)境的Web服務(wù)器生成的日志文件,，用戶向一個(gè)Web服務(wù)請求包含狀態(tài)更新的消息。Spark流提供一個(gè)和Spark核心RDD API非常匹配的操作數(shù)據(jù)流的API,，使得編程人員可以更容易地了解項(xiàng)目,，并且可以在操作內(nèi)存數(shù)據(jù)、磁盤數(shù)據(jù),、實(shí)時(shí)數(shù)據(jù)的應(yīng)用之間快速切換,。Spark流被設(shè)計(jì)為和Spark核心組件提供相同級別的容錯(cuò)性，吞吐量和可伸縮性,。 MLlib Spark：包含一個(gè)叫做MLlib的關(guān)于機(jī)器學(xué)習(xí)的庫,。MLlib提供多種類型的機(jī)器學(xué)習(xí)算法，包括分類,、回歸,、聚類和協(xié)同過濾，并支持模型評估和數(shù)據(jù)導(dǎo)入功能,。MLlib也提供一個(gè)低層的機(jī)器學(xué)習(xí)原語,，包括一個(gè)通用的梯度下降優(yōu)化算法。所有這些方法都可以應(yīng)用到一個(gè)集群上,。 GraphX：GraphX是一個(gè)操作圖(如社交網(wǎng)絡(luò)的好友圖)和執(zhí)行基于圖的并行計(jì)算的庫,。與Spark流和Spark SQL類似,，GraphX擴(kuò)展了Spark RDD API，允許我們用和每個(gè)節(jié)點(diǎn)和邊綁定的任意屬性來創(chuàng)建一個(gè)有向圖,。GraphX也提供了各種各樣的操作圖的操作符,，以及關(guān)于通用圖算法的一個(gè)庫。 集群管理器Cluster Managers在底層,，Spark可以有效地從一個(gè)計(jì)算節(jié)點(diǎn)擴(kuò)展到成百上千個(gè)節(jié)點(diǎn),。為了在最大化靈活性的同時(shí)達(dá)到這個(gè)目標(biāo)，Spark可以運(yùn)行在多個(gè)集群管理器上,，包括Hadoop YARN,，Apache Mesos和一個(gè)包含在Spark中的叫做獨(dú)立調(diào)度器的簡易的集群管理器。如果你在一個(gè)空的機(jī)器群上安裝Spark,，獨(dú)立調(diào)度器提供一個(gè)簡單的方式;如果你已經(jīng)有一個(gè)Hadoop YARN或Mesos集群,，Spark支持你的應(yīng)用允許在這些集群管理器上。第七章給出了不同的選擇,，以及如何選擇正確的集群管理器,。 誰使用Spark?用Spark做什么? 由于Spark是一個(gè)面向集群計(jì)算的通用框架，可用于許多不同的應(yīng)用,。使用者主要有兩種：數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師,。我們仔細(xì)地分析一下這兩種人和他們使用Spark的方式。明顯地,，典型的使用案例是不同的,，但我們可以將他們粗略地分為兩類，數(shù)據(jù)科學(xué)和數(shù)據(jù)應(yīng)用,。 數(shù)據(jù)科學(xué)的任務(wù)數(shù)據(jù)科學(xué),，近幾年出現(xiàn)的一門學(xué)科，專注于分析數(shù)據(jù),。盡管沒有一個(gè)標(biāo)準(zhǔn)的定義,，我們認(rèn)為一個(gè)數(shù)據(jù)科學(xué)家的主要工作是分析和建模數(shù)據(jù)。數(shù)據(jù)科學(xué)家可能會SQL,，統(tǒng)計(jì)學(xué),，預(yù)測模型(機(jī)器學(xué)習(xí))，用Python,、MATLAB或R編程,。數(shù)據(jù)科學(xué)家能將數(shù)據(jù)格式化，用于進(jìn)一步的分析,。 數(shù)據(jù)科學(xué)家為了回答一個(gè)問題或進(jìn)行深入研究,，會使用相關(guān)的技術(shù)分析數(shù)據(jù)。通常,，他們的工作包含特殊的分析,，所以他們使用交互式shell,，以使得他們能在最短的時(shí)間內(nèi)看到查詢結(jié)果和代碼片段。Spark的速度和簡單的API接口很好地符合這個(gè)目標(biāo),，它的內(nèi)建庫意味著很多算法可以隨時(shí)使用,。 Spark通過若干組件支持不同的數(shù)據(jù)科學(xué)任務(wù)。Spark shell使得用Python或Scala進(jìn)行交互式數(shù)據(jù)分析變得簡單,。Spark SQL也有一個(gè)獨(dú)立的SQL shell，可以用SQL進(jìn)行數(shù)據(jù)分析,，也可以在Spark程序中或Spark shell中使用Spark SQL,。MLlib庫支持機(jī)器學(xué)習(xí)和數(shù)據(jù)分析。而且,，支持調(diào)用外部的MATLAB或R語言編寫的程序,。Spark使得數(shù)據(jù)科學(xué)家可以用R或Pandas等工具處理包含大量數(shù)據(jù)的問題。 有時(shí),，經(jīng)過初始的數(shù)據(jù)處理階段后,，數(shù)據(jù)科學(xué)家的工作將被產(chǎn)品化，擴(kuò)展,，加固(容錯(cuò)性),，進(jìn)而成為一個(gè)生產(chǎn)數(shù)據(jù)處理應(yīng)用，作為商業(yè)應(yīng)用的一個(gè)組件,。例如,，一個(gè)數(shù)據(jù)科學(xué)家的研究成果可能會產(chǎn)生一個(gè)產(chǎn)品推薦系統(tǒng)，集成到一個(gè)web應(yīng)用上,，用來向用戶生成產(chǎn)品建議,。通常由另外的人員(如工程師)對數(shù)據(jù)科學(xué)家的工作進(jìn)行產(chǎn)品化。 數(shù)據(jù)處理應(yīng)用Spark的另外一個(gè)主要的使用可以從工程師的角度進(jìn)行描述,。在這里,，工程師指使用Spark來構(gòu)建生產(chǎn)數(shù)據(jù)處理應(yīng)用的大量的軟件開發(fā)者。這些開發(fā)者了解軟件工程的概念和原則,，如封裝,、接口設(shè)計(jì)和面向?qū)ο缶幊獭Ｋ麄兺ǔＳ杏?jì)算機(jī)學(xué)科的學(xué)位,。他們通過自己的軟件工程技能來設(shè)計(jì)和構(gòu)建實(shí)現(xiàn)某個(gè)商業(yè)使用場景的軟件系統(tǒng),。 對工程師而言，Spark提供了一個(gè)簡單的方式在集群之間并行化這些應(yīng)用,，隱藏了分布式系統(tǒng),、網(wǎng)絡(luò)通信和容錯(cuò)處理的復(fù)雜性。系統(tǒng)使得工程師在實(shí)現(xiàn)任務(wù)的同時(shí),，有充足的權(quán)限監(jiān)控,、檢查和調(diào)整應(yīng)用,。API的模塊特性使得重用已有工作和本地測試變得簡單。Spark用戶使用Spark作為其數(shù)據(jù)處理應(yīng)用,，因?yàn)樗峁┝素S富的功能,，易于學(xué)習(xí)和使用，而且成熟可靠,。 成都加米谷大數(shù)據(jù)培訓(xùn)機(jī)構(gòu),，個(gè)人培訓(xùn)、企業(yè)內(nèi)訓(xùn),，10月22日大數(shù)據(jù)開發(fā)零基礎(chǔ)班預(yù)報(bào)名中... |
|
|
