python 用遞歸實(shí)現(xiàn)通用爬蟲解析器
我們?cè)趯懪老x的過程中，除了研究反爬之外，幾乎全部的時(shí)間都在寫解析邏輯。那么，生命苦短，為什么我們不寫一個(gè)通用解析器呢？對(duì)?。槭裁床荒?？開整！
需求分析
爬蟲要解析的網(wǎng)頁(yè)類型無(wú)外乎 html、json 以及一些二進(jìn)制文件（video、excel 文件等）。既然要做成通用解析器，我們有兩種實(shí)現(xiàn)方式，一種是將網(wǎng)頁(yè)內(nèi)容轉(zhuǎn)換成統(tǒng)一的形式，然后用對(duì)應(yīng)的解析規(guī)則去解析，比如全部將網(wǎng)頁(yè)內(nèi)容轉(zhuǎn)換成 html 形式，然后用 xpath 去提取。
另外一種是配置文件預(yù)先告知的方式，你配置成什么類型，解析器就通過對(duì)應(yīng)的解析規(guī)則去解析。
統(tǒng)一網(wǎng)頁(yè)形式，需要做大量的網(wǎng)頁(yè)內(nèi)容形式轉(zhuǎn)換，而配置文件預(yù)先告知?jiǎng)t需要在配置時(shí)指定更多解析字段。相比較而言，通過第二種方式，未來(lái)改變較多的是配置規(guī)則，不需要?jiǎng)雍诵拇a，引入 bug 的可能性較低。因此這里我們采用第二種方式實(shí)現(xiàn)解析器
進(jìn)一步分析
解析器對(duì)于網(wǎng)頁(yè)內(nèi)容的提取，本質(zhì)上和我們?cè)诒镜仉娔X上查找和整理文件，沒有什么差別。比如像下面這樣
解析內(nèi)容就是從中提取我們想要的信息，然后整理成我們希望的格式。比如上面的內(nèi)容，我們提取出來(lái)的形式應(yīng)該是這樣
{
"design": "設(shè)計(jì)圖.psd",
"software": "sketch.dmg"
}
而在實(shí)際的爬蟲開發(fā)過程中，網(wǎng)頁(yè)形式遠(yuǎn)比以上的復(fù)雜。其實(shí)遇到最多的問題是在一組列表中嵌套一個(gè)列表，我們需要把這種形式提取出來(lái)。比如像下面這種形式
{
"a": "a",
"b": [
{"c": "c1", "d": "d1"},
{"c": "c2", "d": "d2"}]
}
他提取出信息后應(yīng)該是這樣
[
{
"a": "a",
"c": "c1",
"d": "d1"
},
{
"a": "a",
"c": "c2",
"d": "d2"
}
]
如果小伙伴對(duì)于算法熟悉的話，應(yīng)該能察覺出這種遍歷用遞歸來(lái)寫是非常方便的。但要注意的是 python 會(huì)限定遞歸的層數(shù)，小伙伴可以通過下面這個(gè)方法查看遞歸限定的層數(shù)
import sys print(sys.getrecursionlimit()) >>>1000
我這邊限定的層數(shù)是 1k。對(duì)于解析網(wǎng)頁(yè)來(lái)說(shuō)完全夠用了，如果哪個(gè)人把網(wǎng)頁(yè)解析邏輯嵌套了 1000 層，我建議你直接跟老板提放棄這個(gè)網(wǎng)頁(yè)吧！
再進(jìn)一步分析
我們已經(jīng)知道對(duì)于通用解析來(lái)說(shuō)，就是通過配置解析規(guī)則提取頁(yè)面的對(duì)應(yīng)信息。而針對(duì)有列表層級(jí)的網(wǎng)頁(yè)可能還涉及遞歸遍歷問題。那如何去配置這種解析規(guī)則呢？其實(shí)很簡(jiǎn)單，只需要在進(jìn)入每一個(gè)層級(jí)之前先指定該層的數(shù)據(jù)形式，比如下面這個(gè)原數(shù)據(jù)
{
"a": "a",
"b": [
{"c": "c1", "d": "d1"},
{"c": "c2", "d" : "d2"}
]
}
想提取嵌套信息，我們的解析規(guī)則就應(yīng)該是這樣的
[
{
"$name": "a",
"$value_type": "raw",
"$parse_method": "json",
"$parse_rule": "a",
"$each": []
},
{
"$name": "__datas__",
"$value_type": "recursion",
"$parse_method": "json",
"$parse_rule": "b",
"$each": [
{
"$name": "c",
"$value_type": "raw",
"$parse_method": "json",
"$parse_rule": "c",
"$each": []
},
{
"$name": "d",
"$value_type": "raw",
"$parse_method": "json",
"$parse_rule": "d",
"$each": []
}
]
}
]
其中 $name 字段表示我們最終希望最外層數(shù)據(jù)所擁有的字段名，當(dāng)然如果是需要遞歸到內(nèi)層的字段，則將列表保存為 __datas__ ，然后根據(jù)這個(gè) __datas__ 進(jìn)行內(nèi)層結(jié)構(gòu)的解析。最終我們得到的數(shù)據(jù)結(jié)構(gòu)應(yīng)該是這樣的
[
{"a": "a", "c": "c1", "d": "d1"},
{"a": "a", "c": "c2", "d": "d2"}
]
以上我們只演示了 json 的解析規(guī)則，如果要拿來(lái)解析 html 對(duì)象呢？很簡(jiǎn)單，將解析方式改為 xpath 對(duì)象，然后傳入 xpath 解析語(yǔ)法即可。
代碼實(shí)現(xiàn)
總共分成兩部分，一部分根據(jù)原最終結(jié)果和規(guī)則進(jìn)行打包，將所有涉及 recursion 邏輯的字段進(jìn)行轉(zhuǎn)換，代碼如下
def _pack_json(result, rules):
item = {}
for p_rule in rules:
if p_rule.get("$value_type") == "raw":
if p_rule.get("$parse_method") == "json":
item[p_rule.get("$name")] = glom(result, p_rule.get("$parse_rule"))
elif p_rule.get("$value_type") == "recursion":
if p_rule.get("$parse_method") == "json":
tmp_result = glom(result, p_rule.get("$parse_rule"))
total_result = []
for per_r in tmp_result:
total_result.append(_pack_json(per_r, p_rule.get("$each")))
item[p_rule.get("$name")] = total_result
return item
另外一部分將上一步得到的進(jìn)行解析，將打包得到的結(jié)果進(jìn)行解包，即將所有內(nèi)嵌的數(shù)據(jù)提到最外層，代碼如下
def _unpack_datas(result: dict) -> list:
if "__datas__" not in result:
return [result]
item_results = []
all_item = result.pop("__datas__")
for per_item in all_item:
if "__datas__" in per_item:
tmp_datas = per_item.pop("__datas__")
for per_tmp_data in tmp_datas:
tmp_item = _unpack_datas(per_tmp_data)
for per_tmp_item in tmp_item:
item_results.append({**per_tmp_item, **per_item})
else:
item_results.append({**result, **per_item})
return item_results
后再包一層執(zhí)行入口就可以了，完整代碼如下
from loguru import logger
from glom import glom
def parse(result, rules):
def _pack_json(result, rules):
item = {}
for p_rule in rules:
if p_rule.get("$value_type") == "raw":
if p_rule.get("$parse_method") == "json":
item[p_rule.get("$name")] = glom(result, p_rule.get("$parse_rule"))
elif p_rule.get("$value_type") == "recursion":
if p_rule.get("$parse_method") == "json":
tmp_result = glom(result, p_rule.get("$parse_rule"))
total_result = []
for per_r in tmp_result:
total_result.append(_pack_json(per_r, p_rule.get("$each")))
item[p_rule.get("$name")] = total_result
return item
def _unpack_datas(result: dict) -> list:
if "__datas__" not in result:
return [result]
item_results = []
all_item = result.pop("__datas__")
for per_item in all_item:
if "__datas__" in per_item:
tmp_datas = per_item.pop("__datas__")
for per_tmp_data in tmp_datas:
tmp_item = _unpack_datas(per_tmp_data)
for per_tmp_item in tmp_item:
item_results.append({**per_tmp_item, **per_item})
else:
item_results.append({**result, **per_item})
return item_results
pack_result = _pack_json(result, rules)
logger.info(pack_result)
return _unpack_datas(pack_result)
以上，就是通用解析器的完整案例。案例中僅實(shí)現(xiàn)了對(duì)于 json 的支持，小伙伴可以基于自己的項(xiàng)目，改造成其他的解析形式。通用解析其實(shí)是雞仔為了偷懶寫的，因?yàn)殡u仔發(fā)現(xiàn)，在爬蟲開發(fā)中，大部分工作都耗在解析這部分。而有了通用解析的前端頁(yè)面，運(yùn)營(yíng)和數(shù)據(jù)分析師就可以根據(jù)自己的需要配置自己想爬取的站點(diǎn)了。人生苦短，你懂得。我去摸魚了~
實(shí)現(xiàn)方式請(qǐng)移步至 github 查看：https://github.com/hacksman/learn_lab/blob/master/small_bug_lab/general_parser.py
以上就是python 用遞歸實(shí)現(xiàn)通用爬蟲解析器的詳細(xì)內(nèi)容，更多關(guān)于python 遞歸實(shí)現(xiàn)爬蟲解析器的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
Python中os.path.join函數(shù)的用法示例詳解
這篇文章主要給大家介紹了關(guān)于Python中os.path.join函數(shù)用法的相關(guān)資料,os.path.join函數(shù)是Python標(biāo)準(zhǔn)庫(kù)中的一個(gè)函數(shù),用于將多個(gè)路徑組合成一個(gè)有效的路徑,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-10-10
這篇文章主要介紹了用python制作個(gè)音樂下載器，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01
這篇文章主要介紹了如何用python 操作zookeeper，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-12-12
大家好，本篇文章主要講的是Python中最神秘missing()函數(shù)介紹，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
Python?torch.onnx.export用法詳細(xì)介紹
這篇文章主要給大家介紹了關(guān)于Python?torch.onnx.export用法詳細(xì)介紹的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-07-07
python中SSH遠(yuǎn)程登錄設(shè)備的實(shí)現(xiàn)方法
本文主要介紹了python中SSH遠(yuǎn)程登錄設(shè)備，python中支持SSH協(xié)議的模塊主要有Paramiko和netmiko兩種，本文主要介紹了netmiko模塊，具有一定的參考價(jià)值，感興趣的可以了解一下2022-04-04
實(shí)現(xiàn)Python3數(shù)組旋轉(zhuǎn)的3種算法實(shí)例
在本篇文章里小編給大家整理的是一篇關(guān)于實(shí)現(xiàn)Python3數(shù)組旋轉(zhuǎn)的3種算法實(shí)例內(nèi)容，需要的朋友們可以學(xué)習(xí)參考下。2020-09-09
Python中requests庫(kù)的基本概念與具體使用方法
requests庫(kù)是用python編寫的基于urllib,requests唯一的一個(gè)非轉(zhuǎn)基因的Python HTTP庫(kù),下面這篇文章主要給大家介紹了關(guān)于Python中requests庫(kù)的基本概念與具體使用方法,需要的朋友可以參考下2022-08-08
使用Pandas對(duì)列名和索引進(jìn)行重命名的幾種常見方法
在數(shù)據(jù)分析和處理中,Pandas是一個(gè)非常強(qiáng)大的工具,它提供了靈活的數(shù)據(jù)結(jié)構(gòu)和豐富的操作方法,使得數(shù)據(jù)處理變得更加簡(jiǎn)單高效,其中,對(duì)數(shù)據(jù)的列名和索引進(jìn)行重命名是常見的需求之一,本文將從基礎(chǔ)概念出發(fā),逐步深入探討如何使用Pandas對(duì)列名和索引進(jìn)行重命名2024-12-12
Python編程matplotlib繪圖挑鉆石seaborn小提琴和箱線圖
這篇文章主要為大家介紹了Python編程如何使用matplotlib繪圖來(lái)挑出完美的鉆石以及seaborn小提琴和箱線圖，有需要的朋友可以借鑒參考下，希望能夠優(yōu)速幫助2021-10-10