MAC下Anaconda+Pyspark安裝配置詳細步驟
在MAC的Anaconda上使用pyspark,主要包括以下步驟：
- 在MAC下安裝Spark,并配置環(huán)境變量。
- 在Anaconda中安裝引用pyspark。
1. MAC下安裝Spark
??到Apark Spark官網(wǎng)上下載Spark文件，無論是windows系統(tǒng)，還是MAC系統(tǒng)，亦或者Linux系統(tǒng)，都可以下載這個文件(獨立于系統(tǒng))。
將下載的文件進行解壓(可以使用命令行進行解壓，也可以使用解壓軟件)。解壓之后的文件如下：
配置環(huán)境變量。打開MAC命令行窗口，輸入如下命令：
sudo vi ~/.bash_profile #bash_profile是當前用戶的環(huán)境變量文件
打開bash_profile文件，并在該文件中增加以下兩行命令：
export SPARK_HOME="/Users/sherry/documents/spark/spark-3.1.2-bin-hadoop2.7" #spark文件的完整解壓目錄
export PATH=${PATH}:${SPARK_HOME}/bin
如下圖
保存并退出之后，運行以下命令：
source ~/.bash_profile #讓修改的bash_profile生效 echo $PATH #查看環(huán)境變量，可以看到新增的路徑名
一般MAC上使用的是zsh的shell工具，需要修改zshrc文件來使環(huán)境變量永久生效(若不修改該文件，在命令行中輸入spark- shell或者pyspark時可能會提示zsh:command not found:pyspark 或 zsh:command not found spark-shell )。輸入以下命令：
vi ~/.zshrc
修改該文件，添加如下命令：
if [ -f ~/.bash_profile ]; then
source ~/.bash_profile
fi
保存并退出即可。下面來驗證spark是否正確安裝，具體如下：
(1)命令行中輸入spark-shell
(2)命令行中輸入pyspark
至此，spark已經(jīng)安裝成功。
2.在Anaconda中引用pyspark
??想要在Anacond中使用pyspark, 只需將spark解壓文件中python文件夾下的pyspark復制到Anaconda下的site-packages文件中。下面來驗證一下是否能在spyder中使用pyspark, 使用如下代碼：
from pyspark import SparkContext, SparkConf
if __name__ == "__main__":
spark_conf = SparkConf()\
.setAppName('Python_Spark_WordCount')\
.setMaster('local[2]')
#使用spark最原始的API進行數(shù)據(jù)分析
sc = SparkContext(conf=spark_conf)
sc.setLogLevel('WARN')
print (sc)
# ------創(chuàng)建RDD，需要分析的數(shù)據(jù) --------------------------------------
def local_rdd(spark_context):
datas = ['hadoop spark','hadoop hive spark','hadoop hive spark',\
'hadoop python spark','hadoop python spark',]
return spark_context.parallelize(datas)
rdd = local_rdd(sc)
print (rdd.count())
print (rdd.first())
sc.stop()
運行發(fā)現(xiàn)提示如下錯誤：
從提示信息可以知道，找不到SPARK_HOME。可以在上述主函數(shù)中增加如下代碼：
import os #添加spark安裝目錄 os.environ['SPARK_HOME'] ='/Users/sherry/documents/spark/spark-3.1.2-bin-hadoop2.7'
重新運行即可得到如下結(jié)果：
5
hadoop spark
到此這篇關(guān)于MAC+Anaconda+Pyspark安裝配置教程的文章就介紹到這了,更多相關(guān)Anaconda Pyspark安裝配置內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
django框架model orM使用字典作為參數(shù)，保存數(shù)據(jù)的方法分析
這篇文章主要介紹了django框架model orM使用字典作為參數(shù)，保存數(shù)據(jù)的方法,結(jié)合實例形式分析了字典參數(shù)結(jié)合django model實現(xiàn)保存數(shù)據(jù)相關(guān)操作技巧,需要的朋友可以參考下2019-06-06
機器學習是一類算法的總稱，這些算法企圖從大量歷史數(shù)據(jù)中挖掘出其中隱含的規(guī)律，并用于預測或者分類，更具體的說，機器學習可以看作是尋找一個函數(shù)，輸入是樣本數(shù)據(jù)，輸出是期望的結(jié)果，只是這個函數(shù)過于復雜，以至于不太方便形式化表達2021-11-11
這篇文章主要給大家介紹了在Python在圖片中添加文字的兩種方法，分別是使用OpenCV和PIL這兩個方法實現(xiàn)，在實際應用中要在這兩種方法中擇優(yōu)使用。兩種方法都給出了詳細示例代碼，需要的朋友可以參考下。2017-04-04
這篇文章主要介紹了開啟Django博客的RSS功能的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-02-02
詳解如何用Flask中的Blueprints構(gòu)建大型Web應用
Blueprints是Flask中的一種模式,用于將應用程序分解為可重用的模塊,這篇文章主要為大家詳細介紹了如何使用Blueprints構(gòu)建大型Web應用,需要的可以參考下2024-03-03
Django項目中用JS實現(xiàn)加載子頁面并傳值的方法
今天小編就為大家分享一篇Django項目中用JS實現(xiàn)加載子頁面并傳值的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了python中循環(huán)語句while用法,實例分析了while語句的使用方法,需要的朋友可以參考下2015-05-05
一文帶你深入理解Python的`functools.lru_cache`裝飾器
Python中的functools.lru_cache裝飾器是一個非常有用的裝飾器，它可以幫助我們優(yōu)化遞歸函數(shù)，避免重復計算已經(jīng)計算過的值，在這篇文章中，我們將探討?functools.lru_cache?的工作原理以及如何使用它，感興趣的朋友跟著小編一起來學習吧2023-07-07
聊聊pytorch測試的時候為何要加上model.eval()
這篇文章主要介紹了聊聊pytorch測試的時候為何要加上model.eval()的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
Python文件讀寫的6大實用方法涵蓋了從基本讀取到高級操作的不同場景,本文給大家介紹了是這些方法的具體使用,并通過代碼示例介紹的非常詳細,需要的朋友可以參考下2025-01-01