最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python爬蟲實(shí)現(xiàn)爬取下載網(wǎng)站數(shù)據(jù)的幾種方法示例

 更新時(shí)間:2023年11月03日 16:40:54   作者:追憶MHyourh  
這篇文章主要為大家介紹了Python爬蟲實(shí)現(xiàn)爬取下載網(wǎng)站數(shù)據(jù)的幾種方法示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

引言

使用腳本進(jìn)行下載的需求很常見,可以是常規(guī)文件、web頁面、Amazon S3和其他資源。Python 提供了很多模塊從 web 下載文件。下面介紹

一、使用 requests

requests 模塊是模仿網(wǎng)頁請(qǐng)求的形式從一個(gè)URL下載文件

示例代碼:

import requests
url = 'xxxxxxxx'  # 目標(biāo)下載鏈接
r = requests.get(url)  # 發(fā)送請(qǐng)求
# 保存
with open ('r.txt', 'rb') as f:
    f.write(r.content)
    f.close

二、使用 wget

安裝 wget 庫
pip install wget

示例代碼

import wget
url = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png'  # 目標(biāo)路由,下載的資源是圖片
path = 'D:/x.png'  # 保存的路徑
wget.download(url, path)  # 下載

三、下載重定向資源

有些 URL 會(huì)被重定向到另一個(gè) URL,后者是真正的下載鏈接。很多軟件的下載其實(shí)都是這樣的形式。

URL看起來如下https://readthedocs.org/projects/python-guide/downloads/pdf/latest

重定向的 URL 也可以用 requests 庫進(jìn)行下載,只需加一個(gè)參數(shù)就可以

import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'
# allow_redirect參數(shù)True表示允許重定向
r = requests.get(url, allow_redirect=True)
with open('r.txt', 'wb') as f:
    f.write(r)
    f.close()

四、大文件分塊下載

有些文件非常的大,如果我們直接下載,可能會(huì)因?yàn)槭录蚧蛘呔W(wǎng)絡(luò)原因造成下載失敗,這時(shí)候我可以使用分塊下載的形式進(jìn)行下載。

requests 支持分塊下載,只需要將 stream 設(shè)為True 即可

import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'
# stream參數(shù)True表示分塊下載
r = requests.get(url, stream=True)
with open('r.txt', 'wb') as f:
    for ch in r:
        f.write(r)
    f.close()

五、并行下載

多線程、多進(jìn)程并發(fā)下載,大大提高下載速度

import requests
from multiprocessing.poll import Pool
# 定義下載函數(shù)
def url_response(url):
    path, url = url
    r = requests.get(url, stream=True)
    with open(path, 'wb') as f:
        for ch in r:
            f.write(ch)
        f.close()
urls = ['aaa', 'bbb', 'ccc']  # 假設(shè)有好多個(gè)下載鏈接
# 排隊(duì)下載的方式
for x in urls:
    url_response(x)
# 并行下載的方式
ThreadPool(3).imap_unordered(url_response, urls)

六、下載中加入進(jìn)度條

使用進(jìn)度條更直觀的查看下載進(jìn)度,這里使用 clint 模塊實(shí)現(xiàn)進(jìn)度條功能

pip install clint

下載

import requests
from clint.textui import progess
url = 'xxxxxxxxxxx'
r = requests.get(url, stream=True)
with open('x.txt', 'wb') as f
    total_length = int(r.headers.get('content-length'))
    for ch in progress.bar(r.iter_content(chunk_size=2391975, expected)size=(total_length/1024)+1)):
        if ch:
            f.write(ch)
    f.close()

七、使用 urllib 模塊下載

urllib庫是Python的標(biāo)準(zhǔn)庫,因此不需要安裝它。

下載代碼

urllib.request.urlretrieve(URL, PATH)

八、通過代理下載

因?yàn)橐恍┍娝苤脑蛭覀兿螺d國外的資源會(huì)非常的慢,這時(shí)候可以使用代理的方式進(jìn)行下載

requests 模塊使用代理

import requests
# 定義代理,假設(shè)本機(jī)上有個(gè)梯子的服務(wù),代理端口是2258
proxy = {'http': 'http://127.0.0.1:2258'} 
url = 'xxxxxx'
r = requests.get(url, proxies=proxy )
.......

urllib 模塊使用代理

import urllib.request
#Python小白學(xué)習(xí)交流群:153708845
url = 'xxxxxxxxxx'
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1'})
open_proxy = urllib.request.build_opener(proxy )  # 打開代理
urllib.request.urlretrieve(url)

九、使用 urllib3

urllib3 是 urllib 模塊的改進(jìn)版本。使用pip下載并安裝

pip install urllib3

以上就是Python爬蟲實(shí)現(xiàn)爬取下載網(wǎng)站數(shù)據(jù)的幾種方法示例的詳細(xì)內(nèi)容,更多關(guān)于Python爬取下載網(wǎng)站數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

最新評(píng)論

靖宇县| 新乡市| 凤山县| 化德县| 金川县| 庄河市| 镇赉县| 津南区| 西畴县| 石景山区| 安宁市| 蒲城县| 朔州市| 青海省| 武安市| 仁布县| 台南市| 武川县| 怀安县| 德阳市| 宿州市| 宁阳县| 铜陵市| 杨浦区| 鸡泽县| 高要市| 景德镇市| 临江市| 宣恩县| 墨脱县| 化德县| 施甸县| 灌阳县| 威海市| 米泉市| 北流市| 旬邑县| 辽宁省| 廉江市| 绥中县| 景德镇市|