1分鐘快速生成用于網(wǎng)頁(yè)內(nèi)容提取的xslt，具體內(nèi)容如下

1、項(xiàng)目背景

在《Python即時(shí)網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目說(shuō)明》一文我們說(shuō)過(guò)要做一個(gè)通用的網(wǎng)絡(luò)爬蟲(chóng)，而且能節(jié)省程序員大半的時(shí)間，而焦點(diǎn)問(wèn)題就是提取器使用的抓取規(guī)則需要快速生成。在python使用xslt提取網(wǎng)頁(yè)數(shù)據(jù)一文，我們已經(jīng)看到這個(gè)提取規(guī)則是xslt程序，在示例程序中，直接把一長(zhǎng)段xslt賦值給變量，但是沒(méi)有講這一段xslt是怎么來(lái)的。

網(wǎng)友必然會(huì)質(zhì)疑：這個(gè)xslt這么長(zhǎng)，編寫不是要花很長(zhǎng)時(shí)間？

實(shí)際情況是，這個(gè)xslt是通過(guò)GooSeeker的MS謀數(shù)臺(tái)的直觀標(biāo)注功能自動(dòng)生成的，熟練的話1分鐘就搞定了。

2、MS謀數(shù)臺(tái)能做什么

MS謀數(shù)臺(tái)有個(gè)圖形化界面，把一系列html解析工具集成在一起，包括：

• 基于直觀標(biāo)注自動(dòng)生成XSLT
• 即時(shí)測(cè)試XSLT的正確性
• 樹(shù)狀的DOM結(jié)構(gòu)展示
• 剖析某個(gè)DOM節(jié)點(diǎn)的屬性
• 為DOM節(jié)點(diǎn)生成XPath，可選擇定位到class、或者id、或者絕對(duì)定位
• 根據(jù)xpath搜索DOM節(jié)點(diǎn)

MS謀數(shù)臺(tái)界面分成三部分：DOM數(shù)窗口、內(nèi)嵌瀏覽器窗口、工作臺(tái)。在工作臺(tái)上定義xslt轉(zhuǎn)換規(guī)則。

3、用MS謀數(shù)臺(tái)生成XSLT

假設(shè)我們要抓取論壇帖子列表，下面一步步講解操作方法：
第一步，打開(kāi)GooSeeker的MS謀數(shù)臺(tái)，輸入要抓取的網(wǎng)址
第二步，在MS謀數(shù)臺(tái)的瀏覽器顯示窗口里，直接選取要提取的內(nèi)容，并且起個(gè)名字，點(diǎn)擊確認(rèn)

第三步，點(diǎn)擊工作臺(tái)的“測(cè)試”按鈕，xslt就生成了，在“數(shù)據(jù)規(guī)則”窗口顯示出來(lái)

通過(guò)以上的操作，不用編程，用圖形化界面直接在頁(yè)面上標(biāo)注，1分鐘就可以生成xslt

4、怎樣使用XSLT

在python使用xslt提取網(wǎng)頁(yè)數(shù)據(jù)一文，我們把生成xslt作為一個(gè)字符串交給程序，給人感覺(jué)好像一下子回到了史前文明，前面講的那么好，最后用了很原始的拷貝。其實(shí)不然，那個(gè)只是一個(gè)例子。在《python即時(shí)網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目: 內(nèi)容提取器的定義》一文已經(jīng)初見(jiàn)端倪了，有多種注入xslt的方式，最自動(dòng)化的方式是api，將在后續(xù)文章中詳細(xì)講解。

5、文檔修改歷史

2016-05-28：V3.0，增加第二章
2016-05-26：V2.0，增補(bǔ)文字說(shuō)明

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論