python遞歸下載文件夾下所有文件
更新時間：2019年08月31日 10:37:33 作者：春江暮客
這篇文章主要為大家詳細介紹了python遞歸下載文件夾下所有文件，具有一定的參考價值，感興趣的小伙伴們可以參考一下
最近想備份網(wǎng)站，但是php下載文件的大小是有大小限制的，而我也懶得裝ftp再下載了，就想著暫時弄個二級域名站，然后用python(python3)的requests庫直接下載網(wǎng)站根目錄下的所有文件以及文件夾。（0-0就是這么任性）
1.安裝requests庫
pip install requests
2.下載文件夾下所有文件及文件夾
這里需要處理的地方主要是文件夾，這里我們判斷出該鏈接是文件夾時，自動創(chuàng)建文件夾，并遞歸繼續(xù)進行操作，否則判斷該鏈接是文件，直接使用requests get方法下載，話不多說，看代碼
####春江暮客 www.bobobk.com
import requests
import re
import os
import sys
def help(script):
text = 'python3 %s https://www.bobobk.com ./' % script
print(text)
def get_file(url,path):##文件下載函數(shù)
content = requests.get(url)
print("write %s in %s" % (url,path))
filew = open(path+url.split("/")[-1],'wb')
for chunk in content.iter_content(chunk_size=512 * 1024):
if chunk: # filter out keep-alive new chunks
filew.write(chunk)
filew.close()
def get_dir(url,path): #文件夾處理邏輯
content = requests.get(url).text
if "<title>Index of" in content:
sub_url = re.findall('href="(.*?)" rel="external nofollow" ',content)
print(sub_url)
for i in sub_url:
if "/" in i:
i = i.split("/")[0]
print(i)
if i!="." and i!="..":
if not os.direxists(path+i):
os.mkdir(path+i)
get_dir(url+"/"+i,path+i+"/")
print("url:"+url+"/"+i+"\nurl_path:"+path+i+"/")
else:
get_file(url+"/"+i,path)
else:
get_file(url,path)
if __name__ == '__main__':
if not sys.argv[1]:
help(sys.argv[0])
exit(0)
else:
get_dir(sys.argv[1],"./")
至此，就在本地目錄完全還原下載原網(wǎng)站的路徑和文件了。
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python爬蟲抓取技術的一些經(jīng)驗,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07
Python中strip()方法用于去除字符串首尾的空白字符,包括空格、制表符和換行符,可以確保字符串沒有多余的空白字符,感興趣的可以了解一下2024-11-11
這篇文章主要介紹了Python 列表反轉顯示的四種方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
Windows平臺Python編程必會模塊之pywin32介紹
在Windows平臺上，從原來使用C/C++編寫原生EXE程序，到使用Python編寫一些常用腳本程序，成熟的模塊的使用使得編程效率大大提高了2019-10-10
基于python腳本實現(xiàn)軟件的注冊功能（機器碼+注冊碼機制）
用戶運行程序后，通過文件自動檢測認證狀態(tài)，如果未經(jīng)認證，就需要注冊。這篇文章主要介紹了基于python腳本實現(xiàn)軟件的注冊功能（機器碼+注冊碼機制）的相關資料,需要的朋友可以參考下2016-10-10
Python實現(xiàn)子類調(diào)用父類的初始化實例
這篇文章主要介紹了Python實現(xiàn)子類調(diào)用父類的初始化實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
Python操作mongodb數(shù)據(jù)庫進行模糊查詢操作示例
這篇文章主要介紹了Python操作mongodb數(shù)據(jù)庫進行模糊查詢操作,結合實例形式分析了Python連接MongoDB數(shù)據(jù)庫及使用正則表達式進行模糊查詢的相關操作技巧,需要的朋友可以參考下2018-06-06
Python條件語句是通過一條或多條語句的執(zhí)行結果（True或者False）來決定執(zhí)行的代碼塊,下面這篇文章主要給大家介紹了關于Python基礎入門之if判斷語句的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2021-09-09
本篇文章主要介紹了Python2中文處理紀要的實現(xiàn)方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-03-03
Pandas 中的join函數(shù)應用實現(xiàn)刪除多余的空行
這篇文章主要介紹了Pandas 中的join函數(shù)應用實現(xiàn)刪除多余的空行，str.join也就是sequence要連接的元素序列，下面我們來看看他的作用實現(xiàn)刪除多余的空行，需要的小伙伴可以參考一下2022-02-02