徹底實(shí)戰(zhàn)詳解使用IntelliJ IDEA下的Spark程序開(kāi)發(fā)

1,、下載安裝包（Windows)
2、本地java8和Scala 2.10.4軟件套件的安裝
3,、為IDEA安裝Scala,，這個(gè)過(guò)程是IDEA的自動(dòng)化的插件管理，所以點(diǎn)擊后會(huì)自動(dòng)下載
4,、指定JDK1.8.x和Scala2.10.4
5,、File->Project Structure 來(lái)設(shè)置工程的Libraries核心是添加Spark的jar依賴
6、添加Spark的jar依賴

為什么不能再IDE中直接發(fā)布Spark程序到Spark集群中
1,、內(nèi)存和core的限制,，默認(rèn)情況下Spark程序的Driver會(huì)在提交Spark的機(jī)器上，所以如果在IDE中提交程序的話,，那IDE機(jī)器就必須非常強(qiáng)大
2,、driver要指揮集群中的worker運(yùn)行，并頻繁地發(fā)生通信,，如果開(kāi)發(fā)環(huán)境IDEA和Spark集群不在同一個(gè)網(wǎng)絡(luò)下,，就會(huì)出現(xiàn)任務(wù)丟失，運(yùn)行緩慢等多種不必要的問(wèn)題
3,、這是不安全的

打包：
File->Project Structure-> Artifacts -> 加號(hào) -> jar -> From module with dependencies

注意要把Spark和Scala的jar去掉