如何將PySpark導(dǎo)入Python的放實現(xiàn)(2種)
方法一
使用findspark
使用pip安裝findspark：
pip install findspark
在py文件中引入findspark：
>>> import findspark >>> findspark.init()
導(dǎo)入你要使用的pyspark庫
>>> from pyspark import *
優(yōu)點：簡單快捷
缺點：治標(biāo)不治本，每次寫一個新的Application都要加載一遍findspark
方法二
把預(yù)編譯包中的Python庫文件添加到Python的環(huán)境變量中
export SPARK_HOME=你的PySpark目錄 export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH
優(yōu)點：一勞永逸
缺點：對于小白可能不太了解環(huán)境變量是什么
問題1、ImportError: No module named pyspark
現(xiàn)象：
- 已經(jīng)安裝配置好了PySpark，可以打開PySpark交互式界面；
- 在Python里找不到pysaprk。
參照上面解決
問題2、ImportError: No module named ‘py4j'
現(xiàn)象：
已經(jīng)安裝配置好了PySpark，可以打開PySpark交互式界面；
按照上面的b方式配置后出現(xiàn)該問題。
解決方法：
把py4j添加到Python的環(huán)境變量中
export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH
注意：這里的py4j-x.xx-src.zip根據(jù)自己電腦上的py4j版本決定。
測試成功的環(huán)境
- Python: 3.7、2.7
- PySpark: 1.6.2 - 預(yù)編譯包
- OS: Mac OSX 10.11.1
參考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?
到此這篇關(guān)于如何將PySpark導(dǎo)入Python的放實現(xiàn)(2種)的文章就介紹到這了,更多相關(guān)PySpark導(dǎo)入Python內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
query()方法是一個功能強大的函數(shù),允許用戶通過字符串表達式來篩選DataFrame中的數(shù)據(jù),本文就來介紹一下pandas中query()用法,感興趣的可以了解一下2024-03-03
%是Python風(fēng)格的字符串格式化操作符,非常類似C語言里的printf()函數(shù)的字符串格式化,下面這篇文章主要給大家介紹了關(guān)于Python如何利用%操作符格式化字符串的相關(guān)資料,需要的朋友可以參考下2021-10-10
這篇文章主要介紹了python分析apache訪問日志腳本分享,本文直接給出實現(xiàn)代碼,需要的朋友可以參考下2015-02-02
這篇文章主要為大家詳細介紹了python實現(xiàn)K最近鄰算法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
python基于socketserver實現(xiàn)并發(fā),驗證客戶端的合法性
TCP協(xié)議的socket一次只能和一個客戶端通信, 而socketsever可以時間和多個客戶端通信。本文將講解socketserver的具體使用2021-05-05
深度學(xué)習(xí)入門之Pytorch 數(shù)據(jù)增強的實現(xiàn)
這篇文章主要介紹了深度學(xué)習(xí)入門之Pytorch 數(shù)據(jù)增強的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Python高級數(shù)據(jù)分析之pandas和matplotlib繪圖
Matplotlib是一個強大的Python繪圖和數(shù)據(jù)可視化的工具包,下面這篇文章主要給大家介紹了關(guān)于Python高級數(shù)據(jù)分析之pandas和matplotlib繪圖的相關(guān)資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-05-05
今天小編就為大家分享一篇解決Python 中英文混輸格式對齊的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
Python+pyaudio實現(xiàn)音頻控制示例詳解
PyAudio?是語音處理的?Python?庫，提供了比較豐富的功能。本文將利用pyaudio控制指定設(shè)備，實現(xiàn)錄制音頻、采集音頻流、播放音頻，感興趣的可以了解一下2022-07-07
今天小編就為大家分享一篇Opencv+Python 色彩通道拆分及合并的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12