詳解IntelliJ IDEA創(chuàng)建spark項目的兩種方式
Intellij是進行scala開發(fā)的一個非常好用的工具，可以非常輕松查看scala源碼，當然用它來開發(fā)Java也是很爽的，之前一直在用scala ide和eclipse，現(xiàn)在換成intellij簡直好用到飛起，但是有些人不知道怎么用intellij去創(chuàng)建一個spark項目，這里介紹兩種
1、選擇File->new Project->Java->Scala,這里scala版本是2.11.8
2 .之后一路點擊next，直到finish，創(chuàng)建完的項目見下圖，這時候已經(jīng)可以創(chuàng)建scala文件了，接下來就可以添加spark相關的jar包了，從官網(wǎng)下載http://spark.apache.org/downloads.html，我這里用的是spark-2.2.1-bin-hadoop2.7，你可以根據(jù)自己需要選擇相應的版本，下載完壓縮包后解壓
3 . 選擇File->Project Structure->Libraries,點擊+，選擇Java，選擇之前下載的spark2.2-hadoop2.7解壓后的jars文件夾，將該文件夾下的jar包全部引進該項目，見下圖
4 . 之后在libraries中點擊+，選擇scala sdk，這里選擇系統(tǒng)版本的scala，為2.11.8版本,添加見下圖
5 . 添加完畢后Project Structure類似于下面這種格式
6 .現(xiàn)在該項目有了spark的jar和scala的sdk，之后創(chuàng)建一個scala文件進行測試,代碼及運行結果見下圖
7 .出現(xiàn)上面這些內(nèi)容表明Intellij創(chuàng)建spark項目成功，總結一下這種方式需要引入scala sdk以及spark的jar包，還有另外一種方式是見下圖，選擇File->New Project->Scala->IDEA，選擇next
8 .之后指定項目名稱和項目所處位置，點擊finish，創(chuàng)建項目
9 .這時候創(chuàng)建的項目如下，這種情況下可以直接右鍵new 創(chuàng)建scala文件，不需要在額外添加scala sdk
10 .接下來的操作和上面那種一樣，添加spark jar包即可，添加完后測試一下
11 .成功輸出，表明Intellij創(chuàng)建spark項目成功，當然前提是intellij安裝了scala插件，在File->Settings->Plugins,搜索scala，根據(jù)查找的結果進行安裝后重啟intellij即可，下圖是我已經(jīng)安裝好的
以上就是兩種創(chuàng)建spark項目的方式，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
Java使用JSqlParser解析復雜的SQL語句的詳細步驟
這篇文章介紹了在Java代碼中使用 JSqlParser解析復雜SQL語句的相關內(nèi)容,包括JSqlParser是什么及安裝步驟,其使用場景如分析、轉換、生成和驗證SQL語句,處理SQL注入攻擊的方法,以及解析復雜SQL語句的步驟、示例代碼和對不同類型語句的處理,需要的朋友可以參考下2025-01-01
SpringBoot返回前端Long類型字段丟失精度問題及解決方案
Java服務端返回Long整型數(shù)據(jù)給前端，JS會自動轉換為Number類型，本文主要介紹了SpringBoot返回前端Long類型字段丟失精度問題及解決方案，感興趣的可以了解一下2024-03-03
這篇文章主要為大家介紹了SpringBoot 過濾器Filter使用實例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-10-10
Java8 Stream API 詳細使用方法與操作技巧指南
這篇文章主要介紹了Java8 Stream API 詳細使用方法與操作技巧,總結分析了Java8 Stream API 基本功能、使用方法與操作注意事項,需要的朋友可以參考下2020-05-05
Spring Boot通過Redis實現(xiàn)防止重復提交
表單提交是一個非常常見的功能,如果不加控制,容易因為用戶的誤操作或網(wǎng)絡延遲導致同一請求被發(fā)送多次,本文主要介紹了Spring Boot通過Redis實現(xiàn)防止重復提交,具有一定的參考價值,感興趣的可以了解一下2024-06-06
基于Java實現(xiàn)ssh命令登錄主機執(zhí)行shell命令過程解析
這篇文章主要介紹了基于Java實現(xiàn)ssh命令登錄主機執(zhí)行shell命令過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12
這篇文章主要介紹了Java中的i++與++i的實現(xiàn)原理詳解,在Java中,i++是一種常見的遞增操作符,用于將變量i的值增加1,它是一種簡潔且方便的方式來實現(xiàn)循環(huán)和計數(shù)功能,i++可以用于各種情況,本文來看一下其實現(xiàn)原理,需要的朋友可以參考下2023-10-10
java如何動態(tài)執(zhí)行while循環(huán)
這篇文章主要介紹了java如何動態(tài)執(zhí)行while循環(huán)問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01
jmeter提供了多種定時器以便于我們進行接口的測試，你知道jmeter提供的定時器有哪些嗎，本文就詳細的介紹了Jmeter固定定時器的使用，感興趣的可以了解一下2021-11-11
這篇文章主要為大家詳細介紹了利用MultipartFile實現(xiàn)文件上傳功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-11-11