前言

現(xiàn)在很多web應(yīng)用，做過web項(xiàng)目的童鞋都知道，web結(jié)果由html+js+css組成，html結(jié)構(gòu)都有一定的規(guī)范，數(shù)據(jù)動態(tài)交互可以通過js實(shí)現(xiàn)。

有些時(shí)候，需要抓取某一個(gè)你感興趣的網(wǎng)站信息，一個(gè)網(wǎng)站信息肯定是通過某一個(gè)url，發(fā)送http請求，根據(jù)地址定位的，當(dāng)知道這個(gè)地址，可以獲取到很多的網(wǎng)絡(luò)響應(yīng)，需要認(rèn)真分析，找到你那一個(gè)合適的地址，最后通過這個(gè)地址返回一個(gè)html給你，我們可以得到這個(gè)html，分析結(jié)構(gòu)，解析這個(gè)結(jié)構(gòu)獲取你要的數(shù)據(jù)。Html的結(jié)構(gòu)解析往往是復(fù)雜繁瑣的，我們可以使用java的支持包：jsoup，可以完成發(fā)送請求，解析html等功能，得到你感興趣的數(shù)據(jù)。

下面就以一個(gè)彩票網(wǎng)站為例來簡單說明整體操作流程，分為以下幾大步驟：

• 根據(jù)官網(wǎng)，定位到自己感興趣的模塊：雙色球
• 分析頁面，找到它的入口地址
• 獲取地址，使用jsoup發(fā)送請求，獲取返回的Document對象
• 分析Document對象，獲取感興趣的數(shù)據(jù)

1：根據(jù)官網(wǎng)，定位到自己感興趣的模塊：雙色球：

本人選擇的500彩票網(wǎng)站：請根據(jù)以下步驟，找到雙色球板塊。

 2：分析頁面，找到它的入口地址

發(fā)現(xiàn)右側(cè)有一個(gè)下拉選擇框，這個(gè)是歷史雙色球開獎期號。改變這個(gè)值，瀏覽器會重新去請求這期的開獎信息，確定地址是：

http://kaijiang.500.com/shtml/ssq/選擇期號.shtml

 3：獲取地址，使用jsoup發(fā)送請求，獲取返回的Document對象

創(chuàng)建一個(gè)maven工程，導(dǎo)入jsoup的依賴：在你java類中，向2地址發(fā)送請求：獲取返回的頁面數(shù)據(jù)：

返回的html頁面內(nèi)容比較多，就不貼在這里的，下面直接對這個(gè)頁面分析(特別說明，每一個(gè)html的結(jié)構(gòu)不是一成不變的，有可能當(dāng)讀者看到這篇文章的時(shí)候，網(wǎng)站修改了網(wǎng)頁結(jié)構(gòu)，那么你需要重新分析，當(dāng)然，估計(jì)這個(gè)網(wǎng)站修改網(wǎng)頁結(jié)構(gòu)的可能性比較小。。。。。。)

 4：分析Document對象，獲取感興趣的數(shù)據(jù)

雙色球由6個(gè)紅球+1個(gè)籃球組成，通過分析網(wǎng)頁，是通過class來表示的，網(wǎng)頁源碼如下：

通過以下代碼，獲取到6個(gè)紅球：

同理，可以獲取到1個(gè)籃球。

根據(jù)這個(gè)原理，你可以獲取你想要的很多的數(shù)據(jù)：以下是本人獲取的數(shù)據(jù)

以上是個(gè)人對java中簡單抓取網(wǎng)頁數(shù)據(jù)的分享，感興趣的童鞋可以自己的實(shí)踐一下，實(shí)踐出真知。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評論