快捷導(dǎo)航

使用python實現(xiàn)一個簡單的圖片爬蟲

更新時間：2024年02月27日 08:56:13 作者：GT開發(fā)算法工程師

在本文中,我們將學(xué)習(xí)如何使用Python創(chuàng)建一個簡單的圖片爬蟲,我們將利用requests庫來發(fā)送HTTP請求,BeautifulSoup庫來解析HTML頁面,以及os和shutil庫來下載和保存圖片,通過這個教程,你將學(xué)會如何爬取網(wǎng)頁上的圖片并保存到本地,需要的朋友可以參考下

引言：

在本文中，我們將學(xué)習(xí)如何使用Python創(chuàng)建一個簡單的圖片爬蟲。

我們將利用requests庫來發(fā)送HTTP請求，BeautifulSoup庫來解析HTML頁面，以及os和shutil庫來下載和保存圖片。通過這個教程，你將學(xué)會如何爬取網(wǎng)頁上的圖片并保存到本地。

一、準(zhǔn)備工作

在開始之前，請確保你已經(jīng)安裝了Python，并且安裝了以下庫：

requests：用于發(fā)送HTTP請求
beautifulsoup4：用于解析HTML頁面

你可以使用以下命令來安裝這些庫：

pip install requests beautifulsoup4

二、代碼實現(xiàn)

import os  
import requests  
from bs4 import BeautifulSoup  
from urllib.parse import urljoin  
from urllib.request import urlretrieve  
  
def download_images(url, save_dir):  
    """  
    下載指定網(wǎng)頁上的所有圖片并保存到本地文件夾  
  
    :param url: 目標(biāo)網(wǎng)頁的URL  
    :param save_dir: 圖片保存的目錄  
    """  
    # 創(chuàng)建保存圖片的目錄  
    if not os.path.exists(save_dir):  
        os.makedirs(save_dir)  
  
    # 發(fā)送HTTP請求  
    response = requests.get(url)  
    response.raise_for_status()  # 如果請求失敗，拋出異常  
  
    # 使用BeautifulSoup解析頁面  
    soup = BeautifulSoup(response.text, 'html.parser')  
  
    # 查找所有的圖片鏈接  
    image_links = soup.find_all('img')  
  
    # 下載并保存圖片  
    for img in image_links:  
        img_url = img.get('src')  
  
        # 如果圖片鏈接是相對路徑，則將其轉(zhuǎn)換為絕對路徑  
        if not img_url.startswith(('http://', 'https://')):  
            img_url = urljoin(url, img_url)  
  
        # 下載圖片  
        img_name = os.path.join(save_dir, img_url.split('/')[-1])  
        urlretrieve(img_url, img_name)  
  
        print(f"Downloaded: {img_name}")  
  
# 使用示例  
url = "https://example.com"  # 替換為你要爬取的網(wǎng)頁的URL  
save_dir = "images"  # 圖片保存的目錄  
download_images(url, save_dir)

三、代碼解析

導(dǎo)入庫：首先，我們導(dǎo)入了所需的庫，包括os、requests、BeautifulSoup、urllib.parse和urllib.request。
定義函數(shù)：我們定義了一個名為download_images的函數(shù)，它接受兩個參數(shù)：url（目標(biāo)網(wǎng)頁的URL）和save_dir（圖片保存的目錄）。
創(chuàng)建保存目錄：如果指定的保存目錄不存在，我們將創(chuàng)建它。
發(fā)送HTTP請求：使用requests.get方法發(fā)送HTTP請求，并使用response.raise_for_status檢查請求是否成功。
解析頁面：使用BeautifulSoup解析HTML頁面，并查找所有的<img>標(biāo)簽，以獲取圖片鏈接。
下載并保存圖片：遍歷每個圖片鏈接，將其轉(zhuǎn)換為絕對路徑（如果需要），并使用urlretrieve方法下載圖片然后，將圖片保存到指定的目錄，并打印出下載的文件名。
使用示例：最后，我們提供了一個使用示例，包括目標(biāo)網(wǎng)頁的URL和圖片保存的目錄。