基于python實(shí)現(xiàn)獲取網(wǎng)頁圖片過程解析
更新時(shí)間：2020年05月11日 10:18:57 作者：哈哈哈天蝎
這篇文章主要介紹了基于python實(shí)現(xiàn)獲取網(wǎng)頁圖片過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
環(huán)境：python3， 要安裝bs4這個(gè)第三方庫
獲取請(qǐng)求頭的方法
這里使用的是Chrome瀏覽器。
打開你想查詢的網(wǎng)站，按F12，或者鼠標(biāo)右鍵一下選擇檢查。會(huì)彈出如下的審查元素頁面：
然后點(diǎn)擊上方選項(xiàng)中的Network選項(xiàng)：
此時(shí)在按Ctrl+R:
選擇下方框中的第一個(gè)，單擊：
選擇Headers選項(xiàng)，其中就會(huì)有Request Headers，包括你需要的信息。
介紹：這個(gè)程序是用來批量獲取網(wǎng)頁的圖片，用于新手入門
注意：由于是入門的程序在獲取某些網(wǎng)頁的圖片時(shí)會(huì)出問題?。。。?！
import os
import urllib.request
from bs4 import BeautifulSoup
# 網(wǎng)址
url = "http://www2017.tyut.edu.cn/"
# 建立請(qǐng)求對(duì)象
request = urllib.request.Request(url)
# 加入請(qǐng)求頭（一定要換成自己的?。。。。?
request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')
# 獲取請(qǐng)求
code = urllib.request.urlopen(request)
# 得到html代碼
html = code.read().decode('utf-8')
# 將html的標(biāo)簽轉(zhuǎn)成對(duì)象（方便后面的操作）
bs = BeautifulSoup(html, 'html.parser')
# 提取所有的img標(biāo)簽
imagesUrl = bs.find_all('img')
sources = []
# 建立存放的路徑（路徑一定要存在！?。。。。。?
filepath = os.getcwd() + '\\images\\'
def createFile(path: str, fpath):
urllib.request.urlretrieve(path, fpath)
# 獲取圖片的路徑(網(wǎng)址+img標(biāo)簽的src屬性的值)
for img in imagesUrl:
sources.append(url + str(img.get('src')))
for src in sources:
# 用split是防止請(qǐng)求帶參
baseName = os.path.basename(src).split('?')
# 圖片名
fileName = filepath + baseName[0]
print("url=" + src, "filename=" + fileName)
createFile(src, fileName)
print('這次您一共下載了圖片' + str(len(sources)) + '張')
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python常用基礎(chǔ)模塊之os.path模塊詳解,os模塊的子模塊os.path 是專門用于進(jìn)行路徑操作的模塊,常用的路徑操作主要有判斷目錄是否存在、創(chuàng)建目錄、刪除目錄和遍歷目錄等,需要的朋友可以參考下2023-08-08
Pytorch如何把Tensor轉(zhuǎn)化成圖像可視化
這篇文章主要介紹了Pytorch如何把Tensor轉(zhuǎn)化成圖像可視化問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-12-12
這篇文章主要介紹了Python 集合中的字典，下面文章關(guān)于python中的集合和字典的相關(guān)內(nèi)容敘述詳細(xì)，具有一定的參考價(jià)值，需要的小伙伴可以參考一下，希望對(duì)你的學(xué)習(xí)有所幫助2022-03-03
在本篇文章里小編給大家分享的是一篇關(guān)于python pipeline的用法及避坑點(diǎn)，有需要的朋友們可以跟著學(xué)習(xí)下。2021-07-07
Python+tkinter實(shí)現(xiàn)一個(gè)繪圖風(fēng)格控件
這篇文章主要為大家詳細(xì)介紹了Python如何利用tkinter實(shí)現(xiàn)一個(gè)簡單的繪圖風(fēng)格控件,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以學(xué)習(xí)一下2023-09-09
現(xiàn)在為了防止反爬，前端使用的反爬技術(shù)比較多的是js代碼混淆。python作為爬蟲界的扛把子，免不了和js打交道，因此我們需要了解如何使用Python執(zhí)行js代碼2021-05-05
今天小編就為大家分享一篇python匹配兩個(gè)短語之間的字符實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了python 編碼中為什么要寫類型注解，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-03-03
因?yàn)楣ぷ?，需要抓取微博?nèi)容。在百度上找到多篇關(guān)于用Python實(shí)現(xiàn)抓取新浪微博的文章，但似乎都不湊效，還是自己來吧，俗話說自己動(dòng)手豐衣足食嘛2014-07-07
這篇文章主要介紹了Python對(duì)列表排序的方法,實(shí)例分析了Python列表排序函數(shù)的相關(guān)使用技巧,非常簡單實(shí)用,需要的朋友可以參考下2015-05-05