久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

Spark

 melodyjian 2017-05-10

1 IDEA 打包

示例代碼參考AMPCamp2015之SparkSQL,開發(fā)環(huán)境使用idea,。首先需要將程序打包成jar


選擇project structure --》artifacts ,,由于集群已經(jīng)有了運行依賴的jar包,打包時可以將這些jar包排除出去,,以減小打包后的jar包的大小,。


點擊ok,然后選擇build --》build artifacts,,SparkSQLTest --》build,,然后在工程目錄的子目錄下會生成j對應(yīng)的jar文件:


2 提交任務(wù)

首先啟動集群,然后客戶端來到spark-submit目錄:/app/hadoop/spark131/bin


spark-submit通過命令行的方式提交任務(wù),,具體參數(shù)信息如下參考


提交示例如下:


在命令行輸入如下命令:
./spark-submit  --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3  /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar



在web監(jiān)控界面可以看到:


3 運行結(jié)果

結(jié)果如下:




    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,,不代表本站觀點,。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,,謹(jǐn)防詐騙,。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報,。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多