Spark升級2.0.1版本安裝部署教程

0.集群當(dāng)前環(huán)境

Hadoop版本：2.7.1

JDK版本：jdk1.7.0_79

Hbase版本：1.1.2

Spark版本：1.5.0

Scala版本：2.10.4

1.Spark安裝

a)   在官網(wǎng)（http://spark./downloads.html）上下載與當(dāng)前hadoop版本適合的Spark版本包,。

b)   下載后解壓到你要放置的安裝目錄,。我是先解壓再重命名移動到指定的文件夾下面。

c)   修改Spark配置文件,。由于spark1.5.0版本和spark2.0.1版本的配置文件基本相同,，故拷貝了原來的配置文件。

具體其中配置如下：

slaves文件配置子節(jié)點hostname（我這邊在etc/hosts/中針對每個子節(jié)點的ip地址做了解析,，所以只寫域名）,。

spark-defaults.conf配置一些jar包的引用,。（注意：spark2.0.1版本不再有l(wèi)ib文件夾，只有jars文件夾,，所以需要加上這個jars文件路徑）

spark-env.sh配置spark的運行環(huán)境（注意,，JAK版本至少要是1.7以上，SCALA版本也要控制2.11版本以上,，scala路徑就是后面你要安裝的路徑）

至此，Spark安裝完成

2.Scala安裝

a)   由于spark2.0.1版本只支持2.11版本以上的scala版本,，所以需要重裝新版本的Scala,。在Scala官網(wǎng)下載2.11版本以上的scala安裝包。（我安裝的是2.11.8版本,，http://www./download/2.11.8.html）

根據(jù)集群的操作系統(tǒng)選擇對應(yīng)的jar包,。

下載到指定文件夾后，進(jìn)行解壓縮,。

此時注意,！要放到/usr/local/文件夾下，必須使用root賬號,。再拷貝到對應(yīng)文件夾下,。

至此Scala安裝完成。

3.修改配置文件

a)   若此時Spark服務(wù)正在運行,，建議先關(guān)閉Spark服務(wù),。再修改配置文件。

b)   修改每個賬號下面的.bashrc文件

c)   修改完畢之后,，source 下.bashrc文件,，使之生效。

4.同步文件到子節(jié)點

a)   Spark文件夾,，Scala文件夾及.bashrc文件到各個子節(jié)點,，注意：source下.bashrc文件，使之生效,。

5.驗證是否安裝成功

a)   驗證scala是否安裝成功

輸入scala -version

b)   啟動Spark服務(wù),。進(jìn)入sbin文件夾下，執(zhí)行bash -x start-all.sh

c)   使用jps查看進(jìn)程是否啟動成功,。

d)   查看Spark頁面

e)   執(zhí)行Spark樣例（./bin/run-example SparkPi | grep "Pi is roughly"）

f)   測試Spark-shell能否正常使用（spark-shell --executor-memory 1G --total-executor-cores 10）

g)   查看8080頁面

至此,，Spark新版本升級完成