如何用Python搞到小姐姐私房照

本文純技術角度出發(fā)，教你如何用Python爬蟲獲取百度圖庫海量照片——技術無罪。

學會獲取小姐姐私房照同理可得也能獲取其他的照片，技術原理是一致的。

目標站點

百度圖片使用關鍵字搜索 小姐姐私房照

https://image.baidu.com/

開發(fā)環(huán)境

• 系統(tǒng)：Windows10 64位
• Python版本：Python3.6.5(Python3以上版本即可)
• IDE：Pycharm（非必須，其實你完全可以記事本寫代碼）
• 第三方庫：requests、jsonpath

效果預覽

網(wǎng)頁私房照

代碼爬取效果

正式教程

一、第三方庫安裝

在確保你正確安裝了Python解釋器之后，我們還需要安裝幾個第三方庫，命令如下**[在終端中安裝即可]**：

HTTP請求庫：

pip3 install requests

JSON數(shù)據(jù)解析庫：

pip3 install jsonpath

二、爬蟲的基本套路

• 不管是爬取哪類網(wǎng)站，在爬蟲中基本都遵循以下的基本套路：

     請求數(shù)據(jù) → 獲取響應內(nèi)容 → 解析內(nèi)容 → 保存數(shù)據(jù)

• 當然，以上步驟是代碼的編寫思路，實際操作中應該還要添加一個前置步驟，所以完整流程如下：

     分析目標站點 → 請求網(wǎng)站獲取數(shù)據(jù) → 解析內(nèi)容 → 保存數(shù)據(jù)

分析目標站點

快速的分析目標站點就很容易發(fā)現(xiàn)百度圖庫的圖片資源是通過AJAX加載的，所以我們要請求的鏈接并非瀏覽器地址欄鏈接，而是ajax加載的數(shù)據(jù)包的資源路徑，如圖：

那么問題來了，如何獲取到這些數(shù)據(jù)包的地址？其實很簡單，如圖所示：

請求網(wǎng)站獲取數(shù)據(jù)

編寫代碼請求資源，這里有一點需要注意：請求頭必須攜帶，否則有可能請求失敗導致報錯。

import requests  # 導包

# 構建請求頭，把爬蟲程序偽裝成正常的瀏覽器用戶
headers = {
    'sec-fetch-dest': 'image',
    'Host': 'image.baidu.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36 Edg/89.0.774.50',
}
# 資源包的url鏈接
url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10913526997707526921&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%B0%8F%E5%A7%90%E5%A7%90%E7%A7%81%E6%88%BF%E7%85%A7&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&word=%E5%B0%8F%E5%A7%90%E5%A7%90%E7%A7%81%E6%88%BF%E7%85%A7&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn=210&rn=30&gsm=d2&1616553658252='

# 構建請求
response = requests.get(url,headers=headers)
# 查看狀態(tài)碼
print(response.status_code)
# 獲取原始數(shù)據(jù)
response.json()

解析數(shù)據(jù)

上述代碼最終獲取到的數(shù)據(jù)是json數(shù)據(jù)，也就是我們Python中常說的字典，它長這樣：

{
    "queryEnc":"%D0%A1%BD%E3%BD%E3%CB%BD%B7%BF%D5%D5",
    "queryExt":"小姐姐私房照",
    "listNum":758,
    "displayNum":8392,
    "gsm":"f0",
    "bdFmtDispNum":"約8,390",
    "bdSearchTime":"",
    "isNeedAsyncRequest":0,
    "bdIsClustered":"1",
    "data":[
        Object{...},   # 沒張私房照對應的詳細信息，其中就有圖片的URL 
        Object{...},
        ···
}

既然它是一個字典，我們當然是可以使用Python中的鍵值索引方式獲取到想要的數(shù)據(jù)，但是此方法太笨，這里介紹一種更加高明的方式，使用jsonpath解析數(shù)據(jù)

# 這一行代碼便可以獲取到所有圖片的URL，返回的是一個列表，遍歷即可拿到每一個URL
imgs = jsonpath.jsonpath(json_data, '$..middleURL')

使用requests請求圖片URL，獲取圖片數(shù)據(jù)

image_data = requests.get(page_url).content

保存數(shù)據(jù)

使用Python中的文件對象，保存圖片，圖片名字使用時間戳命名，避免圖片重名

with open('imgs/' + datetime.now().strftime("%Y%m%d%H%M%S%f") + '.jpg', 'wb') as f:
     f.write(image_data)

寫在最后

到這整個兒爬蟲程序就寫完了。

當然，當前的這個只能爬取一個資源包中的數(shù)據(jù)，要爬取多個資源包或者說全部資源包的數(shù)據(jù)也是很簡單的，只需要分析分析資源包的URL變化規(guī)律就不難發(fā)現(xiàn)其中的某個關鍵字變化，靈活改變該關鍵字就可以不斷爬取。

文章正文到這里已經(jīng)結束了，只是想感謝一些閱讀我文章的人。

我退休后一直在學習如何寫文章，說實在的，每次我在后臺看到一些讀者的回應就會覺得很欣慰，于是我想把我收藏的一些編程干貨貢獻給大家，回饋每一個讀者，希望能幫到你們。

到此這篇關于手把手帶你用python爬取小姐姐私房照的文章就介紹到這了,更多相關python爬取圖片內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論