快捷導(dǎo)航

python爬蟲(chóng)實(shí)例之獲取動(dòng)漫截圖

更新時(shí)間：2020年05月31日 10:24:02 作者：四月一日君尋

這篇文章主要給大家介紹了關(guān)于python爬蟲(chóng)實(shí)例之獲取動(dòng)漫截圖的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

引言

之前有些無(wú)聊（呆在家里實(shí)在玩的膩了），然后就去B站看了一些python爬蟲(chóng)視頻，沒(méi)有進(jìn)行基礎(chǔ)的理論學(xué)習(xí)，也就是直接開(kāi)始實(shí)戰(zhàn)，感覺(jué)跟背公式一樣的進(jìn)行爬蟲(chóng)，也算行吧，至少還能爬一些東西，hhh。我今天來(lái)分享一個(gè)我的爬蟲(chóng)代碼。

正文

話(huà)不多說(shuō)，直接上完整代碼

ps：這個(gè)代碼有些問(wèn)題每次我爬到fate的圖片它就給我報(bào)錯(cuò)，我只好用個(gè)try來(lái)跳過(guò)了，如果有哪位大佬能幫我找出錯(cuò)誤并給與糾正，我將不勝感激

import requests as r
import re
import os
import time
file_name = "動(dòng)漫截圖"
if not os.path.exists(file_name):
 os.mkdir(file_name)
    
for p in range(1,34):
  print("--------------------正在爬取第{}頁(yè)內(nèi)容------------------".format(p))
  url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)
  headers = {"user-agent"
   : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36"}
   
  resp = r.get(url, headers=headers) 
  html = resp.text

  images = re.findall('data-original="(.*?)" ', html)
  names =re.findall('title="(.*?)"', html)
  #print(images)
  #print(names)
  dic = dict(zip(images, names))
  for image in images:
    time.sleep(1)
    print(image, dic[image])
    name = dic[image]
    #name = image.split('/')[-1]
    i = r.get(image, headers=headers).content
    try:
      with open(file_name + '/' + name + '.jpg' , 'wb') as f:
       f.write(i)
    except FileNotFoundError:
     continue

先導(dǎo)入要使用的庫(kù)

import requests as r
import re
import os
import time

然后去分析要去爬的網(wǎng)址： https://www.acgimage.com/shot/recommend

下圖是網(wǎng)址的內(nèi)容：

好了 url已經(jīng)確定

下面去尋找headers

找到user-agent 將其內(nèi)容復(fù)制到headers中

第一步就完成了

下面是代碼展示

url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)
headers = {"user-agent"
   : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36"
   }

然后檢索要爬的圖片內(nèi)容

從上圖就可以找到圖片的位置：data-origina=后面的內(nèi)容
以及圖片的名字：title=后面的內(nèi)容

然后用正則表達(dá)式re來(lái)檢索就行了

images = re.findall('data-original="(.*?)" ', html)
names =re.findall('title="(.*?)"', html)

最后將其保存就好了

i = r.get(image, headers=headers).content
with open(file_name + '/' + name + '.jpg' , 'wb') as f:
     f.write(i)

還有就是一些細(xì)節(jié)了

比如換頁(yè)

第一頁(yè)網(wǎng)址：

https://www.acgimage.com/shot/recommend

第二頁(yè)網(wǎng)址：https://www.acgimage.com/shot/recommend?page=2

然后將page后面的數(shù)字改動(dòng)就可以跳到相應(yīng)的頁(yè)面

換頁(yè)的問(wèn)題也就解決了

or p in range(1,34):
    url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)

以及將爬到的圖片放到自己建立的文件zh

使用了os庫(kù)

 file_name = "動(dòng)漫截圖"
 if not os.path.exists(file_name):
   os.mkdir(file_name)

以及為了不影響爬取的網(wǎng)站使用了sleep函數(shù)

雖然爬取的速度慢了一些

但是這是應(yīng)遵守的道德

time.sleep(1)

以上這就是我的爬蟲(chóng)過(guò)程

還是希望大佬能解決我的錯(cuò)誤之處

萬(wàn)分感謝

總結(jié)

到此這篇關(guān)于python爬蟲(chóng)實(shí)例之獲取動(dòng)漫截圖的文章就介紹到這了,更多相關(guān)python爬蟲(chóng)獲取動(dòng)漫截圖內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: