前篇文章介紹了Spark計(jì)算框架相較于MapReduce框架的種種優(yōu)勢(shì)，接下來我們一起安裝,、配置Spark集群環(huán)境,，方便后期繼續(xù)學(xué)習(xí)研究。Spark項(xiàng)目是由Scala語言編寫的,，因此需提前配置Scala環(huán)境才能運(yùn)行Spark程序,。                        

1、Scala版本選擇與下載

       我們安裝spark2.1.2版本與之對(duì)應(yīng)的環(huán)境要求可以在spark官網(wǎng)可以得到,。  如下圖所示：                                                                

從上圖可一看到安裝Spark2.1.2我們需要安裝scala2.11.x版,，在scala官網(wǎng)可以找到與之對(duì)應(yīng)的是2.11.12。scala運(yùn)行對(duì)java虛擬機(jī)也是有要求的,，從下圖可以看到2.11.12要求java1.8的環(huán)境,。大家還記得我們虛擬機(jī)中安裝的java版本嗎？

我們可以使用命令查看一下,，如下圖所示：你們安裝的就是1.8(最后一位小版本號(hào)之間差異不大,，一般可以忽略)。所以我們只需下載scala2.11.12即可,。

下載scala2.11.12.tgz的方法：可以在官網(wǎng)選擇下圖所示的文件下載

2,、安裝scala

首先通過WinSCP將下載的scala壓縮文件上傳至master用戶主目錄下Downloads目錄下，使用命令 tar –zxvf scala2.11.12.tgz 解壓scala2.11.12.tgz至用戶主目錄下,，解壓后的文件夾名為scala-2.11.12

將解壓后的文件夾名由scala-2.11.12改為scala,，可使用下圖所示操作命令

3、配置scala環(huán)境變量

編輯用戶主目錄下的.bashrc文件,，命令如下圖所示

在文件末尾添加如下內(nèi)容

保存并退出,，重新導(dǎo)入配置文件.bashrc然后終端中使用命令scala -version查看scala安裝配置是否成功。操作過程如下圖所示：

在master節(jié)點(diǎn)操作成功后為了簡(jiǎn)便可以將scala文件目錄和./.bashrc復(fù)制到slave1,、slave2,。復(fù)制文件到其他節(jié)點(diǎn)使用scp命令：

scp  -r ./scala  hduser@slave1:~/

scp ./.bashrc hduser@slave1:~/

scp  -r ./scala  hduser@slave2:~/

scp ./.bashrc hduser@slave2:~/

通過以上命令slave1和slave2節(jié)點(diǎn)上都有scala及其配置文件了。我們可以通過重新導(dǎo)入配置文件查看每個(gè)節(jié)點(diǎn)是否安裝成功,，操作如下面兩圖所示：

到這里集群中scala環(huán)境就配置好了,，下篇文章介紹spark的安裝。