python訪問hdfs的操作
更新時間：2020年06月06日 10:02:07 作者：gdolphinw
這篇文章主要介紹了python訪問hdfs的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
pip install hdfs
python 讀取hdfs目錄或文件
import hdfs
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
status=client.status(fileDir,False)
if status:
print (status)
rst=client.download(fileDir,"/home/dev/gewei")
print (rst)
exception Exception as e:
print (e)
補充知識：用python訪問hdfs出現(xiàn)webhdfs找不到的情況
有可能是webhdfs服務沒有開啟
向hdfs-site.xml文件中添加屬性：
<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
可以使用如下命令檢測，
獲得目錄的列表：
curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"
以上這篇python訪問hdfs的操作就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
python數(shù)學模塊(math/decimal模塊)
這篇文章主要介紹了python數(shù)學模塊(math/decimal模塊),文章圍繞主題展開詳細的內容介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-09-09
使用Python實現(xiàn) 學生學籍管理系統(tǒng)
這篇文章主要介紹了使用Python實現(xiàn) 學生學籍管理系統(tǒng)，代碼大致分為五個函數(shù)組成，具體內容詳情本文給大家介紹的非常詳細,需要的朋友可以參考下2019-11-11
tensorflow實現(xiàn)訓練變量checkpoint的保存與讀取
今天小編就為大家分享一篇tensorflow實現(xiàn)訓練變量checkpoint的保存與讀取，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
運行tensorflow python程序,限制對GPU和CPU的占用操作
今天小編就為大家分享一篇運行tensorflow python程序,限制對GPU和CPU的占用操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
這篇文章主要為大家介紹了Python的異常處理機制，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
這篇文章主要為大家詳細介紹了如何使用Python中的openpyxl庫開發(fā)一個小工具,可以實現(xiàn)批量提取Excel圖片,有需要的小伙伴可以參考一下2025-03-03
Python使用Altair創(chuàng)建交互式數(shù)據(jù)可視化的操作指南
Altair 是一個基于 Vega-Lite 的 Python 數(shù)據(jù)可視化庫,它旨在簡化數(shù)據(jù)可視化的創(chuàng)建過程,尤其適用于統(tǒng)計圖表的生成,Altair 強調聲明式編碼方式,通過簡單的語法,用戶能夠快速創(chuàng)建復雜的交互式圖表,本文將介紹 Altair 的基礎用法、常見圖表類型,需要的朋友可以參考下2024-12-12
這篇文章介紹了python通過ElementTree操作XML的方法，文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-07-07
容器是一種把多個元素組織在一起的數(shù)據(jù)結構，容器中的元素可以逐個地迭代獲取，可以用in, not in關鍵字判斷元素是否包含在容器中。接下來通過本文給大家介紹python容器的內置通用函數(shù)操作，感興趣的朋友一起看看吧2021-11-11
基于 Python實現(xiàn)云服務器的CDN域名遠程鑒權配置
這篇文章主要介紹了基于 Python實現(xiàn)云服務器的CDN域名遠程鑒權配置，文章內容技術詳細，具有一定的參考價值，需要的小伙伴可以參考一下2022-05-05