python使用XPath解析數據爬取起點小說網數據
更新時間：2021年04月22日 15:31:29 作者：互聯網老辛
這篇文章主要介紹了python使用XPath解析數據爬取起點小說網數據，幫助大家更好的理解和學習使用python，感興趣的朋友可以了解下
1. xpath 的介紹
xpath是一門在XML文檔中查找信息的語言
優(yōu)點：
- 可以在xml中找信息
- 支持HTML的查找
- 可以通過元素和屬性進行導航
但是Xpath需要依賴xml的庫，所以我們需要去安裝lxml的庫。
安裝lxml庫
我們先要安裝lxml的庫，直接在pycharm里安裝即可：
XML的樹形結構：
元素-元素-屬性-文本
使用XPath選取節(jié)點：
- nodename: 選取此節(jié)點的所有節(jié)點
- /從根節(jié)點選擇
- // 從匹配選擇的當前節(jié)點選擇文檔中的節(jié)點，而不考慮他們的位置
- . 選擇當前節(jié)點
- .. 選擇當前節(jié)點的父節(jié)點（此處是兩個點，瀏覽器默認顯示3個..）
- /text() 獲取當前路徑下的文本內容
- /@xxx 提取當前路徑下標簽的屬性值
選取節(jié)點的表達式舉例：
2. 爬取起點小說網
在瀏覽器中獲取書名和作者測試
在谷歌里安裝一個xpath的插件
在html中查找book-mid-info
我們要獲取小說的名稱： 也就是 //div[@class='book-mid-info']/h4/a/txt()
再加一個獲取作者：
使用xpath獲取起點小說網的數據
# 作者：互聯網老辛
# 開發(fā)時間：2021/4/8/0008 8:24
import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#發(fā)送請求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #類型轉換，把str轉變?yōu)閏lass 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名稱和作者對應
for name,authors in zip(names,authors):
print(name,":",authors)
以上就是python使用XPath解析數據爬取起點小說網數據的詳細內容，更多關于python XPath解析數據爬取起點小說網的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要介紹了python 8種必備的gui庫，幫助大家更好的進行python 開發(fā)，感興趣的朋友可以了解下2020-08-08
這篇文章主要介紹了講解Python中的標識運算符,是Python學習當中的基礎知識,需要的朋友可以參考下2015-05-05
如何使用python的plot繪制loss、acc曲線并存儲成圖片
在數據可視化中曲線圖是一種常見的展示數據趨勢的方式,Python作為一種強大的編程語言,提供了豐富的數據處理和可視化庫,使得繪制曲線圖變得非常簡單,下面這篇文章主要給大家介紹了關于如何使用python的plot繪制loss、acc曲線并存儲成圖片的相關資料,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了Django上線部署之IIS的配置方法，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2019-08-08
Python與xlwings黃金組合處理Excel各種數據和自動化任務
這篇文章主要為大家介紹了Python與xlwings黃金組合處理Excel各種數據和自動化任務示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪<BR>2023-12-12
這篇文章主要介紹了Python使用functools實現注解同步方法,非常不錯，具有參考借鑒價值，需要的朋友可以參考下2018-02-02
這篇文章主要介紹了python中*與**用法的相關資料,Python中的*和**用于數值計算、序列解包、函數定義和調用,*用于乘法和解包序列,**用于乘方、解包字典和擴展字典,需要的朋友可以參考下2025-01-01
jupyter?notebook?自定義python解釋器的過程詳解
大家都知道jupyter?notebook?網頁版交互環(huán)境，類似于ipython，功能強大，這篇文章主要介紹了jupyter?notebook?自定義python解釋器的過程,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-10-10
python處理Excel常用到的模塊是xlrd。使用xlrd可以非常方便的處理Excel文檔，下面這篇文章將給大家詳細介紹python中包xlrd的安裝與利用xlrd處理Excel表格的方法，有需要的朋友們可以參考學習，下面來一起看看吧。2016-12-12
本篇文章主要介紹了python3 圖片referer防盜鏈的實現方法，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-03-03