欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂Linux培訓(xùn)簡(jiǎn)述Spark-shell批量命令執(zhí)行腳本的方法

2019-05-23 15:27:31 4575瀏覽

本篇文章扣丁學(xué)堂Linux培訓(xùn)小編給讀者們分享一下Spark-shell批量命令執(zhí)行腳本的方法，對(duì)Linux開(kāi)發(fā)感興趣或是想要學(xué)習(xí)Linux開(kāi)發(fā)的小伙伴就隨小編來(lái)了解一下吧。

批量執(zhí)行spark-shell命令，并指定提交參數(shù)

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上就是扣丁學(xué)堂Linux在線學(xué)習(xí)小編給大家分享的Spark-shell批量命令執(zhí)行腳本的方法，希望對(duì)小伙伴們有所幫助，想要了解更多內(nèi)容的小伙伴可以登錄扣丁學(xué)堂官網(wǎng)咨詢。

想要學(xué)好Linux開(kāi)發(fā)小編給大家推薦口碑良好的扣丁學(xué)堂，扣丁學(xué)堂有專(zhuān)業(yè)老師制定的Linux學(xué)習(xí)路線圖輔助學(xué)員學(xué)習(xí)，此外還有與時(shí)俱進(jìn)的Linux課程體系和Linux視頻教程供大家學(xué)習(xí)，想要學(xué)好Linux開(kāi)發(fā)技術(shù)的小伙伴快快行動(dòng)吧。扣丁學(xué)堂Linux技術(shù)交流群：422345477。

     【關(guān)注微信公眾號(hào)獲取更多學(xué)習(xí)資料】        【掃碼進(jìn)入HTML5前端開(kāi)發(fā)VIP免費(fèi)公開(kāi)課】

查看更多關(guān)于“Linux培訓(xùn)資訊”的相關(guān)文章>>