spark大數(shù)據(jù)任務(wù)提交參數(shù)的優(yōu)化記錄分析
起因
新接觸一個(gè)spark集群，明明集群資源（core,內(nèi)存）還有剩余，但是提交的任務(wù)卻申請(qǐng)不到資源。
分析
環(huán)境
spark 2.2.0 基于yarn集群
參數(shù)
spark任務(wù)提交參數(shù)中最重要的幾個(gè)：
spark-submit --master yarn --driver-cores 1 --driver-memory 5G --executor-cores 2 --num-executors 16 --executor-memory 4G
driver-cores driver端核數(shù) driver-memory driver端內(nèi)存大小 executor-cores 每個(gè)執(zhí)行器的核數(shù) num-executors 此任務(wù)申請(qǐng)的執(zhí)行器總數(shù) executor-memory 每個(gè)執(zhí)行器的內(nèi)存大小
那么，該任務(wù)將申請(qǐng)多少資源呢？
申請(qǐng)的執(zhí)行器總內(nèi)存數(shù)大小=num-executor * (executor-memory +spark.yarn.executor.memoryOverhead) = 16 * (4 + 2) = 96 申請(qǐng)的總內(nèi)存=執(zhí)行器總內(nèi)存+dirver端內(nèi)存=101 申請(qǐng)的總核數(shù)=num-executor*executor-core + yarn.AM(默認(rèn)為1)=33 運(yùn)行的總?cè)萜?contanier) = num-executor + yarn.AM(默認(rèn)為1) = 17
所以這里還有一個(gè)關(guān)鍵的參數(shù) spark.yarn.executor.memoryOverhead
這個(gè)參數(shù)是什么意思呢？ 堆外內(nèi)存，每個(gè)executor歸spark 計(jì)算的內(nèi)存為executor-memory，每個(gè)executor是一個(gè)單獨(dú)的JVM，這個(gè)JAVA虛擬機(jī)本向在的內(nèi)存大小即為spark.yarn.executor.memoryOverhead，不歸spark本身管理。在spark集群中配置。
也可在代碼中指定 spark.set("spark.yarn.executor.memoryOverhead", 1)
這部份實(shí)際上是存放spark代碼本身的究竟，在executor-memory內(nèi)存不足的時(shí)候也能應(yīng)應(yīng)急頂上。
問(wèn)題所在
假設(shè)一個(gè)節(jié)點(diǎn)16G的內(nèi)存，每個(gè)executor-memory=4，理想情況下4x4=16，那么該節(jié)點(diǎn)可以分配出4個(gè)節(jié)點(diǎn)供spark任務(wù)計(jì)算所用。 1.但應(yīng)考慮到spark.yarn.executor.memoryOverhead. 如果spark.yarn.executor.memoryOverhead=2，那么每個(gè)executor所需申請(qǐng)的資源為4+2=6G，那么該節(jié)點(diǎn)只能分配2個(gè)節(jié)點(diǎn)，剩余16-6x2=4G的內(nèi)存，無(wú)法使用。
如果一個(gè)集群共100個(gè)節(jié)點(diǎn)，用戶將在yarn集群主界面看到，集群內(nèi)存剩余400G,但一直無(wú)法申請(qǐng)到資源。
2.core也是一樣的道理。
很多同學(xué)容易忽略spark.yarn.executor.memoryOverhead此參數(shù)，然后陷入懷疑，怎么申請(qǐng)的資源對(duì)不上，也容易陷入優(yōu)化的誤區(qū)。
優(yōu)化結(jié)果
最終優(yōu)化結(jié)果，將spark.yarn.executor.memoryOverhead調(diào)小，并根據(jù)node節(jié)點(diǎn)資源合理優(yōu)化executor-memory,executor-core大小，將之前經(jīng)常1.6T的內(nèi)存占比，降到1.1左右。并能較快申請(qǐng)到資源。
以上就是spark任務(wù)提交參數(shù)的優(yōu)化記錄分析的詳細(xì)內(nèi)容，更多關(guān)于spark任務(wù)提交參數(shù)優(yōu)化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
優(yōu)秀程序猿調(diào)試技巧Debug與Release
這篇文章主要為大家介紹了程序員養(yǎng)成金手指了解優(yōu)秀程序猿的調(diào)試技巧Debug與Release，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2022-02-02
調(diào)用無(wú)文檔說(shuō)明的?Web?API過(guò)程描述
這篇文章主要為大家介紹了調(diào)用無(wú)文檔說(shuō)明的Web?API過(guò)程描述，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪<BR>2022-03-03
在論壇上經(jīng)常會(huì)看到水晶報(bào)表分頁(yè)的問(wèn)題，這個(gè)很好解決。但是自動(dòng)插入空白行的問(wèn)題卻一直沒(méi)有很好的答案，經(jīng)過(guò)研究找到一個(gè)變通的辦法來(lái)實(shí)現(xiàn)了。2009-04-04
idea中實(shí)用的git操作問(wèn)題小結(jié)(撤回commit，撤回push、暫存區(qū)使用)
我們?cè)陂_(kāi)發(fā)過(guò)程中經(jīng)常遇到commit代碼后,發(fā)現(xiàn)還有需要修改的地方又不想多次commit,此時(shí)如果不想敲git命令,可以利用idea實(shí)現(xiàn)commit撤回,下面給大家分享idea中實(shí)用的git操作問(wèn)題小結(jié),感興趣的朋友跟隨小編一起看看吧2024-08-08
使用Postman和SoapUI工具測(cè)試WebService接口
這篇文章介紹了使用Postman和SoapUI工具測(cè)試WebService接口的方法，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
VsCode配置ssh免密遠(yuǎn)程連接服務(wù)器的實(shí)現(xiàn)步驟
現(xiàn)在,可以在VSCode中直接通過(guò)SSH連接到服務(wù)器,而無(wú)需每次輸入密碼,本文主要介紹了VsCode配置ssh免密遠(yuǎn)程連接服務(wù)器的實(shí)現(xiàn)步驟,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-08-08
本文給大家分享的2個(gè)簡(jiǎn)單而且實(shí)用的小功能代碼，分別是日歷控件和天氣預(yù)報(bào)接口，推薦給大家，需要的小伙伴快來(lái)參考下吧2015-03-03
這篇文章主要介紹了如何讓Visual Studio用上chatgpt,Visual chatGPT Studio是Visual Studio的一個(gè)免費(fèi)擴(kuò)展，它直接在IDE中添加了chatGPT功能，它允許用戶以可以根據(jù)菜單功能的方式使用chatGPT，需要的朋友可以參考下2023-05-05
vscode使用editorconfig插件以及.editorconfig配置文件說(shuō)明詳解
這篇文章主要介紹了vscode使用editorconfig插件以及.editorconfig配置文件說(shuō)明詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
這篇文章主要介紹了如何使用clion中配置ROS工程,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-08-08