1 IDEA 打包示例代碼參考AMPCamp2015之SparkSQL,開發(fā)環(huán)境使用idea,。首先需要將程序打包成jar
選擇project structure --》artifacts ,,由于集群已經(jīng)有了運行依賴的jar包,打包時可以將這些jar包排除出去,,以減小打包后的jar包的大小,。
點擊ok,然后選擇build --》build artifacts,,SparkSQLTest --》build,,然后在工程目錄的子目錄下會生成j對應(yīng)的jar文件:
2 提交任務(wù)首先啟動集群,然后客戶端來到spark-submit目錄:/app/hadoop/spark131/bin
spark-submit通過命令行的方式提交任務(wù),,具體參數(shù)信息如下參考:
提交示例如下:
在命令行輸入如下命令:
./spark-submit --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3 /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar
在web監(jiān)控界面可以看到:
3 運行結(jié)果結(jié)果如下:
|
|