|
Spark 1.6.0 單機(jī)安裝配置 一,、 約束條件如下
Spark runs on Java
7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You
will need to use a compatible Scala version (2.10.x). Spark 1.6 + Scala 2.10 二、
依賴安裝
1,、JDK 1.8+ （前置安裝） 2,、HADOOP 2.6.0+（前置安裝） 3、SCALA 2.10.+ http://downloads./scala/2.10.6/scala-2.10.6.tgz 4,、Spark -1.6.0 –bin-Hadoop http://d3kbcqa49mib13./spark-1.6.3-bin-hadoop2.6.tgz 三,、依賴安裝
n 配置ssh localhost 確保已經(jīng)安裝openssh-server
yum –y install openssh-server n 無密碼登陸配置 ssh-keygen -t rsa cat
~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 如果已經(jīng)生成過密鑰，只需執(zhí)行后兩行命令,。測試ssh localhost 四,、安裝scala
n 解壓scala安裝包到任意目錄： cd /opt/scala tar -xzvf
scala-2.10.6.tgz n 編輯環(huán)境變量 vim /etc/profile export
SCALA_HOME=/home/tom/scala-2.10.6 export
PATH=$SCALA_HOME/bin:$PATH n 使環(huán)境變量生效 source
/etc/profile n 查看是否成功： scala -version 五、安裝SPARK
n 解壓spark安裝包到任意目錄： cd /opt/spark tar -xzvf
spark-1.6.0-bin-hadoop2.6.tgz mv
spark-1.6.0-bin-hadoop2.6 spark-1.6.0 vim /etc/profile n 在 /etc/profile 文件的末尾添加環(huán)境變量： export
SPARK_HOME=/opt/spark export
PATH=$SPARK_HOME/bin:$PATH n 保存并更新 /etc/profile ： source
/etc/profile 六,、配置SPARK
n 在conf目錄下復(fù)制并重命名 spark-env.sh.template 為 spark-env.sh ： cp
spark-env.sh.template spark-env.sh vim spark-env.sh n 在 spark-env.sh 中添加： export JAVA_HOME=/opt/jdk1.8/ export
SPARK_MASTER_IP=localhost export
SPARK_WORKER_MEMORY=1G 七,、啟動與測試SPARK
n 啟動 $SPARK_HOME/sbin/start-all.sh n 測試Spark是否安裝成功： $SPARK_HOME/bin/run-example
SparkPi n 得到結(jié)果： Pi is roughly 3.14716 n 檢查頁面： 是否安裝成功 http://localhost :8080 接下來介紹分布式安裝配置，這得感謝科多大數(shù)據(jù)的老師提供的資料,，干貨拿走不謝 Spark 1.6.0分布式安裝配置 一,、
*配置解釋：
JAVA_HOME 指定 Java 安裝目錄； SCALA_HOME 指定 Scala 安裝目錄,； SPARK_MASTER_IP 指定 Spark 集群 Master 節(jié)點(diǎn)的 IP 地址,； SPARK_WORKER_MEMORY 指定的是 Worker 節(jié)點(diǎn)能夠分配給
Executors 的最大內(nèi)存大小,； #HADOOP_CONF_DIR 指定 Hadoop 集群配置文件目錄,。 二、
基于單機(jī)集群：
一,、主節(jié)點(diǎn)配置： 1,， 添加配置到 spark-env.sh文件 export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop 2， 將 slaves.template 拷貝到 slaves,， 編輯其內(nèi)容為：
(不同機(jī)器名的
,，記得更改) 二、從節(jié)點(diǎn)配置 拷貝主節(jié)點(diǎn)配置到其他節(jié)點(diǎn)，并且修改環(huán)境變量 三,、
啟動集群
1) 啟動 Master 節(jié)點(diǎn) 運(yùn)行 start-master.sh 2) 啟動 Slave 節(jié)點(diǎn) 運(yùn)行 start-slaves.sh 四,、
驗證集群
通過 8080端口能夠看到 worker數(shù)量為 3 |
|
|
