快捷導(dǎo)航

如何利用python多線程爬取天氣網(wǎng)站圖片并保存

更新時(shí)間：2021年11月09日 14:26:28 作者：小生凡一

最近做個(gè)天氣方面的APP需要用到一些天氣數(shù)據(jù),所以下面這篇文章主要給大家介紹了關(guān)于如何利用python多線程爬取天氣網(wǎng)站圖片并保存的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下

1.1 題目

指定一個(gè)網(wǎng)站，爬取這個(gè)網(wǎng)站中的所有的所有圖片，例如中國氣象網(wǎng)（www.weather.com.cn），分別使用單線程和多線程的方式爬取。(限定爬取圖片數(shù)量為學(xué)號(hào)后3位)

輸出信息: 將下載的Url信息在控制臺(tái)輸出，并將下載的圖片存儲(chǔ)在images子文件中，并給出截圖。

1.2 思路

1.2.1 發(fā)送請(qǐng)求

構(gòu)造請(qǐng)求頭

import requests,re
import urllib

headers = {
    'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Language': 'zh-CN,zh;q=0.9',
}

url = "http://www.weather.com.cn/"
request = urllib.request.Request(url, headers=headers)

發(fā)送請(qǐng)求

request = urllib.request.Request(url, headers=headers)
r = urllib.request.urlopen(request)

1.2.2 解析網(wǎng)頁

頁面解析，并且替換回車，方便后續(xù)進(jìn)行正則匹配圖片。

html = r.read().decode().replace('\n','')

1.2.3 獲取結(jié)點(diǎn)

使用正則匹配，先獲取所有的a標(biāo)簽，然后爬取a標(biāo)簽下面的所有圖片

urlList = re.findall('<a href="(.*?)" ',html,re.S)

獲取所有的圖片

allImageList = []
for k in urlList:
    try:
        request = urllib.request.Request(k, headers=headers)
        r = urllib.request.urlopen(request)
        html = r.read().decode().replace('\n','')
        imgList = re.findall(r'<img.*?src="(.*?)"', html, re.S)
        allImageList+=imgList
    except Exception as e:
        pass

這里的請(qǐng)求其實(shí)也是要用多線程爬取的，所有后續(xù)會(huì)補(bǔ)上！

1.2.4 數(shù)據(jù)保存 (單線程)

for i, img in enumerate(allImageList[:102]):
    print(f"正在保存第{i + 1}張圖片 路徑:{img}")
    resp = requests.get(img)
    with open(f'./image/{img.split("/")[-1]}', 'wb') as f:  # 保存到這個(gè)image路徑下
        f.write(resp.content)

1.2.4 數(shù)據(jù)保存 (多線程)

引入多進(jìn)程模塊

import threading
# 多線程
def download_imgs(imgList,limit):
    threads = []
    T = [
        threading.Thread(target = download, args=(url,i))
        for i, url in enumerate(imgList[:limit + 1])
    ]
    for t in T:
        t.start()
        threads.append(t)
    return threads

編寫下載函數(shù)

def download(img_url,name):
    resp = requests.get(img_url)
    try:
        resp = requests.get(img_url)
        with open(f'./images/{name}.jpg', 'wb') as f:
                f.write(resp.content)
    except Exception as e:
        print(f"下載失敗: {name} {img_url} -> {e}")
    else:
        print(f"下載完成: {name} {img_url}")

就很隨機(jī)