完美解決python針對hdfs上傳和下載的問題
當(dāng)我們使用python的hdfs包進(jìn)行上傳和下載文件的時候，總會出現(xiàn)如下問題
requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known
其實(shí)這主要是由于沒有將各個集群節(jié)點(diǎn)的ip映射到/etc/hosts文件中
修改/etc/hosts文件，將各個集群節(jié)點(diǎn)ip映射加上即可，如博主所示
vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01
補(bǔ)充知識：python上傳文件到hadoop異常問題
使用庫：pyhdfs
調(diào)用方法：
pyhdfs.HdfsClient(ip,port,user).copy_from_local()
pyhdfs.HdfsClient(ip,port,user).copy_to_local()
異?，F(xiàn)象1如下圖：
異?，F(xiàn)象2如下圖：
異常現(xiàn)象3如下圖：
原因分析：可以看出，以上都是連接成功了，但是上傳或者下載失敗了，造成這種現(xiàn)象的原因是
我這里連接的是name節(jié)點(diǎn)，端口50070，當(dāng)調(diào)用copy_from_local（）時，name節(jié)點(diǎn)會主動去連接data節(jié)點(diǎn)進(jìn)行數(shù)據(jù)讀寫操作，而data節(jié)點(diǎn)端口50075沒有開啟，造成data節(jié)點(diǎn)連接超時，拋出異常
解決辦法：開啟data節(jié)點(diǎn)端口
以上這篇完美解決python針對hdfs上傳和下載的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
- Python select及selectors模塊概念用法詳解
- Python連接HDFS實(shí)現(xiàn)文件上傳下載及Pandas轉(zhuǎn)換文本文件到CSV操作
- Python selenium文件上傳下載功能代碼實(shí)例
- 基于python實(shí)現(xiàn)FTP文件上傳與下載操作（ftp&sftp協(xié)議）
- Python Socketserver實(shí)現(xiàn)FTP文件上傳下載代碼實(shí)例
- python3 requests庫文件上傳與下載實(shí)現(xiàn)詳解
- 使用Python操作FTP實(shí)現(xiàn)上傳和下載的方法
- python ftp 按目錄結(jié)構(gòu)上傳下載的實(shí)現(xiàn)代碼
- python實(shí)現(xiàn)上傳下載文件功能
- python實(shí)現(xiàn)的簡單FTP上傳下載文件實(shí)例
- python 基于selectors庫實(shí)現(xiàn)文件上傳與下載
相關(guān)文章
對python-3-print重定向輸出的幾種方法總結(jié)
今天小編就為大家分享一篇對python-3-print重定向輸出的幾種方法總結(jié)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
無論我們使用哪種編程語言,處理文件對于每個程序員都是必不可少的,本文主要介紹了python讀取多類型文件夾中的文檔內(nèi)容,具有一定的參考價值,感興趣的可以了解一下2024-03-03
python中正則表達(dá)式findall的用法實(shí)例
在寫著自動化測試的腳本時重新復(fù)習(xí)了一下正則表達(dá)式findall()方法,下面這篇文章主要給大家介紹了關(guān)于python中正則表達(dá)式findall用法的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
這篇文章主要為大家介紹了python的函數(shù)參數(shù)，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
我本科有個很幽默風(fēng)趣的量子力學(xué)老師，他說了很多批話，跟個公知似的。他的很多文章都放在了開心網(wǎng)（kaixin001.com）上，為了留個紀(jì)念，用爬蟲保存下來2021-05-05
Python實(shí)現(xiàn)求解最大公約數(shù)的五種方法總結(jié)
求最大公約數(shù)是習(xí)題中比較常見的類型，本文小編將給大家提供五種比較常見的算法，都是用Python語言實(shí)現(xiàn)的，感興趣的小伙伴可以了解一下2022-07-07
Pyside2中嵌入Matplotlib的繪圖的實(shí)現(xiàn)
這篇文章主要介紹了Pyside2中嵌入Matplotlib的繪圖的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
在本篇文章里小編給大家整理的是一篇關(guān)于Python NumPy灰度圖像的壓縮原理講解內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。2021-08-08
對Python函數(shù)設(shè)計(jì)規(guī)范詳解
今天小編就為大家分享一篇對Python函數(shù)設(shè)計(jì)規(guī)范詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
這篇文章主要介紹了Python序列化pickle模塊使用詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-03-03