Spark在Win10下的環(huán)境搭建過(guò)程
前言
本章將介紹如何在WIN10下實(shí)現(xiàn)spark環(huán)境搭建。
本章概要
1、版本說(shuō)明
2、環(huán)境準(zhǔn)備：
- jdk配置；
- scala安裝與配置；
- spark安裝與配置；
- hadoop安裝與配置；
版本說(shuō)明
jdk：1.8
scala：2.11.8
spark：2.3.0
hadoop：2.8.3
環(huán)境準(zhǔn)備
jdk配置
1、配置JAVA_HOME與Path：
Path
2、驗(yàn)證配置：
scala安裝與配置
1、scala下載：
訪(fǎng)問(wèn)官方地址
http://www.scala-lang.org/download/2.11.8.html
2、配置Path：
3、驗(yàn)證配置：
Spark安裝與配置
1、spark下載：
訪(fǎng)問(wèn)官方地址
http://spark.apache.org/downloads.html
選中官方推薦的地址即可下載，其他地址也可用（建議采用迅雷等下載工具下載，速度比較會(huì)快很多）
2、解壓至D盤(pán)；
3、配置Path：
4、通過(guò)spark-shell進(jìn)入Spark的交互式命令行模式：
如上，可以看到對(duì)應(yīng)的spark、scala、java版本，同時(shí)也看到了異常信息，該異常信息是由于hadoop導(dǎo)致的，下面來(lái)配置hadoop。
Hadoop安裝與配置
1、hadoop下載
訪(fǎng)問(wèn)官方
http://hadoop.apache.org/releases.html
進(jìn)入下載頁(yè)，如下建議地址（同樣建議用迅雷等下載工具下載，速度更快）
2、解壓至
3、配置HADOOP_HOME&Path：
path：
4、winutils下載：
https://github.com/steveloughran/winutils
下載對(duì)應(yīng)版本的bin目錄直接替換本地bin目錄即可。
5、此時(shí)繼續(xù)spark-shell進(jìn)入spark命令行交互模式：
此時(shí)即不會(huì)出現(xiàn)上述的異常提示。
6、訪(fǎng)問(wèn)控制臺(tái)中的webui如下：
到此這篇關(guān)于Spark在Win10下的環(huán)境搭建的文章就介紹到這了,更多相關(guān)win10 Spark環(huán)境搭建內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
對(duì)初學(xué)者而言，匯編的許多命令太復(fù)雜，往往學(xué)習(xí)很長(zhǎng)時(shí)間也寫(xiě)不出一個(gè)漂漂亮亮的程序，以致妨礙了我們學(xué)習(xí)匯編的興趣，不少人就此放棄2013-05-05
Windows API函數(shù)大全，從事軟件開(kāi)發(fā)的朋友可以參考下2012-05-05
人人都是開(kāi)發(fā)者：7款傻瓜式APP開(kāi)發(fā)工具
國(guó)外的營(yíng)銷(xiāo)工作者和技術(shù)開(kāi)發(fā)者開(kāi)發(fā)了許多能幫助企業(yè)創(chuàng)建簡(jiǎn)單APP應(yīng)用的工具，通過(guò)這些工具，就算是一個(gè)對(duì)程序一竅不通的普通網(wǎng)民都可以很容易的創(chuàng)建一個(gè)企業(yè)的APP程序，并可以對(duì)程序進(jìn)行應(yīng)用更新維護(hù)，開(kāi)展?fàn)I銷(xiāo)等活動(dòng)2013-11-11
這篇文章主要介紹了Scala模式匹配的的相關(guān)資料，文中講解非常詳細(xì)，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-06-06
Scala函數(shù)式編程專(zhuān)題--scala基礎(chǔ)語(yǔ)法介紹
這篇文章主要介紹了scala基礎(chǔ)語(yǔ)法的的相關(guān)資料，文中講解非常詳細(xì)，幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-06-06
云計(jì)算的不斷發(fā)展，涌現(xiàn)出很多改變傳統(tǒng)IT架構(gòu)和運(yùn)維方式的新技術(shù)，而以虛擬機(jī)、容器、微服務(wù)為代表的技術(shù)更是在各個(gè)層面不斷提升云服務(wù)的技術(shù)能力，它們將應(yīng)用和環(huán)境中很多通用能力變成了一種服務(wù)。但無(wú)論這些技術(shù)應(yīng)用在哪里，幫助企業(yè)降本增效是技術(shù)變革永恒的主題。2021-05-05
uniapp打包安卓App的兩種方式(云打包、本地打包)方法詳解
這篇文章主要介紹了uniapp打包安卓App的兩種方式(云打包、本地打包)方法詳解,需要的朋友可以參考下2022-12-12
詳解為什么現(xiàn)代系統(tǒng)需要一個(gè)新的編程模型
如今高要求的分布式系統(tǒng)的建造者遇到了不能完全由傳統(tǒng)的面向?qū)ο缶幊?OOP)模型解決的挑戰(zhàn)，但這可以從Actor模型中獲益。2021-05-05
詳解靜態(tài)分析技術(shù)符號(hào)執(zhí)行
本文提綱絜領(lǐng)的介紹了符號(hào)執(zhí)行，讓大家明白這個(gè)技術(shù)的主要作用和面臨的挑戰(zhàn)，領(lǐng)大家入坑。2021-05-05
HBuilder是DCloud(數(shù)字天堂)推出的一款支持HTML5的Web開(kāi)發(fā)IDE，下面這篇文章主要給大家介紹了關(guān)于Hbuilder如何配置Avalon和Vue指令提示的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起看看吧。2017-10-10