Spark-shell批量命令執(zhí)行腳本的方法
更新時(shí)間：2018年06月19日 16:34:58 作者：小蝸牛也有夢想
今天小編就為大家分享一篇Spark-shell批量命令執(zhí)行腳本的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
批量執(zhí)行spark-shell命令，并指定提交參數(shù)
#!/bin/bash
source /etc/profile
exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out")
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF
以上這篇Spark-shell批量命令執(zhí)行腳本的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Shell中if的基本語法和常見判斷用法,本文講解了if的基本語法、對字符串的判斷、對數(shù)字的判斷、對文件屬性的判斷、邏輯判斷等內(nèi)容,需要的朋友可以參考下2015-06-06
這篇文章主要介紹了Linux shell中如何獲取當(dāng)前目錄問題，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-07-07
今天小編就為大家分享一篇解決linux 所有命令無法使用的問題，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
shell檢測某個(gè)文件/文件夾是否存在詳細(xì)實(shí)例
shell是一個(gè)用?C?語言編寫的程序,它是用戶使用Linux的橋梁,下面這篇文章主要給大家介紹了關(guān)于shell檢測某個(gè)文件/文件夾是否存在的相關(guān)資料,需要的朋友可以參考下2023-06-06
由于域名即將過期，所以最近打算替換相關(guān)網(wǎng)站證書為最新的，主要的流程就是讀取文件中的域名，然后進(jìn)行https訪問獲取到證書過期的時(shí)間，如果域名連接不上，則會(huì)直接跳過，具體詳細(xì)過程跟隨小編一起通過本文學(xué)習(xí)下吧2022-02-02
這篇文章主要介紹了Linux base shell重定向的相關(guān)資料,并用一個(gè)簡明例子總結(jié)了常見用法（在第三節(jié)）,需要的朋友可以參考下2014-04-04
Shell腳本實(shí)現(xiàn)自動(dòng)安裝zookeeper
這篇文章主要介紹了Shell腳本實(shí)現(xiàn)自動(dòng)安裝zookeeper,本文直接給出實(shí)現(xiàn)代碼,需要的朋友可以參考下2015-01-01
Linux?shell中$(())、$()、``與${}的區(qū)別
本文主要介紹了Linux?shell中$(())、$()、``與${}的區(qū)別，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-06-06
Linux?shell使用trap命令優(yōu)雅進(jìn)行處理程序中斷
這篇文章主要為大家詳細(xì)介紹了Linux?shell如何使用trap命令優(yōu)雅進(jìn)行處理程序中斷,文中的示例代碼簡潔易懂,有需要的小伙伴可以參考一下2024-12-12
Linux系統(tǒng)診斷之內(nèi)存基礎(chǔ)深入詳解
這篇文章主要介紹了Linux系統(tǒng)診斷之內(nèi)存基礎(chǔ)深入詳解，雖然是基礎(chǔ)但是列舉的很詳細(xì)，有感興趣的同學(xué)可以研究下2021-03-03