快捷導(dǎo)航

一文掌握Python爬蟲XPath語法

更新時(shí)間：2021年11月18日 11:29:31 作者：王曦

這篇文章主要介紹了一文掌握Python爬蟲XPath語法，xpath是一門在XML和HTML文檔中查找信息的語言，可用來在XML和HTML文檔中對(duì)元素和屬性進(jìn)行遍歷，XPath 通過使用路徑表達(dá)式來選取 XML 文檔中的節(jié)點(diǎn)或者節(jié)點(diǎn)集。下面會(huì)更學(xué)習(xí)的介紹,需要的朋友可以參考一下

一、問題描述

1.什么是XPath？

xpath是一門在XML和HTML文檔中查找信息的語言，可用來在XML和HTML文檔中對(duì)元素和屬性進(jìn)行遍歷，XPath 通過使用路徑表達(dá)式來選取 XML 文檔中的節(jié)點(diǎn)或者節(jié)點(diǎn)集。這些路徑表達(dá)式和在常規(guī)的電腦文件系統(tǒng)中看到的表達(dá)式非常相似。

二、解決方案

1.XPath語法

想要學(xué)好xpath，首先要搞明白html文檔中的節(jié)點(diǎn)。

<div>
     <ul>
          <li class="item-0"><a href="link1.html" rel="external nofollow" >first item</a></li>
          <li class="item-1"><a href="link2.html" rel="external nofollow" >second item</a></li>
          <li class="item-inactive"><a href="link3.html" rel="external nofollow" >third item</a></li>
          <li class="item-1"><a href="link4.html" rel="external nofollow" >fourth item</a></li>
          <li class="item-0"><a href="link5.html" rel="external nofollow" >fifth item</a> # 注意，此處缺少一個(gè) </li> 閉合標(biāo)簽
      </ul>
  </div>

以上是在網(wǎng)上隨便找的一段html的文本，可以觀察得到，div的標(biāo)簽下是ul標(biāo)簽，而ul標(biāo)簽下是li標(biāo)簽，于是發(fā)現(xiàn)html的標(biāo)簽是一級(jí)一級(jí)如樹狀的。Xpath正是通過這樣的方式去尋找。以生活中舉例，要確定一個(gè)人的位置，首先確定他在中國，然后確定他在某個(gè)省份，哪座城市，那個(gè)小區(qū)，最后找到他。

表達(dá)式	描述
Nodename	選取此節(jié)點(diǎn)的所有子節(jié)點(diǎn) bookstore 選取bookstore下所有的子節(jié)點(diǎn)
/	如果是在最前面，代表從根節(jié)點(diǎn)選取。否則選擇某節(jié)點(diǎn)下的某個(gè)節(jié)點(diǎn) /bookstore 選取根元素下所有的bookstore節(jié)點(diǎn)
//	從全局節(jié)點(diǎn)中選擇節(jié)點(diǎn)，隨便在哪個(gè)位置 //book 從全局節(jié)點(diǎn)中找到所有的book節(jié)點(diǎn)
@	選取某個(gè)節(jié)點(diǎn)的屬性 //book[@price] 選擇所有擁有price屬性的book節(jié)點(diǎn)
.	當(dāng)前節(jié)點(diǎn)
Text()	獲取標(biāo)簽中的文本