HttpClient抓取網(wǎng)頁的兩種方式
更新時間：2013年08月23日 17:11:46 作者：
可以利用NodeFilter對網(wǎng)頁進(jìn)行分析及利用Visitor對網(wǎng)頁進(jìn)行分析實現(xiàn)抓取網(wǎng)頁，具體如下感興趣的朋友可以參考下，希望對大家有所幫助
一、利用NodeFilter對網(wǎng)頁進(jìn)行分析
1、生成一個Parser
a.通過url提取網(wǎng)絡(luò)上的網(wǎng)頁
Parser parser = new Parser();
parser.setURL("http://www.yahoo.com.cn");
b.提取本地網(wǎng)頁文件
通過讀文件把網(wǎng)頁文件轉(zhuǎn)化成字符串；
Parser parser=Parser.createParser(html,charset);
2、利用NodeFilter做一個filter
a.利用Tag Name
NodeFilter filter=new TagNameFilter("IMG");
b.利用Tag Class
NodeFilter filter = new NodeClassFilter(ImageTag.class);
3、通過匹配filter，得到所有符合條件的Tag
NodeList list=parser.extractAllNodesThat(filter);
for(int i=0;i String content=list.elementAt(i).toHtml();//得到符合條件的Tag 內(nèi)容
如果針對具體情況進(jìn)行更加詳細(xì)的處理，則：
ImageTag imageTag=(ImageTag)list.elementAt(i);
…………
}
然后根據(jù)需要做相應(yīng)的處理。
二、利用Visitor對網(wǎng)頁進(jìn)行分析
1、生成一個Parser
a.通過url提取網(wǎng)絡(luò)上的網(wǎng)頁
Parser parser = new Parser();
parser.setURL("http://www.yahoo.com.cn");
b.提取本地網(wǎng)頁文件
通過讀文件把網(wǎng)頁文件轉(zhuǎn)化成字符串；
Parser parser=Parser.createParser(html,charset);
2、用visitor訪問頁面
ex：ObjectFindingVisitor visitor=new ObjectFindingVisitor();
parser.visitAllNodesWith(visitor);
3、通過特定的visitor得到符合條件的Tag
Node[] nodes=visitor.getTags();
for(int i=0;i ImageTag imageTag=(ImageTag)nodes[i];
…………
//根據(jù)需要做特定處理
}
1、生成一個Parser
a.通過url提取網(wǎng)絡(luò)上的網(wǎng)頁
復(fù)制代碼 代碼如下:
Parser parser = new Parser();
parser.setURL("http://www.yahoo.com.cn");
b.提取本地網(wǎng)頁文件
通過讀文件把網(wǎng)頁文件轉(zhuǎn)化成字符串；
復(fù)制代碼 代碼如下:
Parser parser=Parser.createParser(html,charset);
2、利用NodeFilter做一個filter
a.利用Tag Name
NodeFilter filter=new TagNameFilter("IMG");
b.利用Tag Class
NodeFilter filter = new NodeClassFilter(ImageTag.class);
3、通過匹配filter，得到所有符合條件的Tag
NodeList list=parser.extractAllNodesThat(filter);
for(int i=0;i String content=list.elementAt(i).toHtml();//得到符合條件的Tag 內(nèi)容
如果針對具體情況進(jìn)行更加詳細(xì)的處理，則：
復(fù)制代碼 代碼如下:
ImageTag imageTag=(ImageTag)list.elementAt(i);
…………
}
然后根據(jù)需要做相應(yīng)的處理。
二、利用Visitor對網(wǎng)頁進(jìn)行分析
1、生成一個Parser
a.通過url提取網(wǎng)絡(luò)上的網(wǎng)頁
復(fù)制代碼 代碼如下:
Parser parser = new Parser();
parser.setURL("http://www.yahoo.com.cn");
b.提取本地網(wǎng)頁文件
通過讀文件把網(wǎng)頁文件轉(zhuǎn)化成字符串；
復(fù)制代碼 代碼如下:
Parser parser=Parser.createParser(html,charset);
2、用visitor訪問頁面
復(fù)制代碼 代碼如下:
ex：ObjectFindingVisitor visitor=new ObjectFindingVisitor();
parser.visitAllNodesWith(visitor);
3、通過特定的visitor得到符合條件的Tag
復(fù)制代碼 代碼如下:
Node[] nodes=visitor.getTags();
for(int i=0;i ImageTag imageTag=(ImageTag)nodes[i];
…………
//根據(jù)需要做特定處理
}
您可能感興趣的文章:
- 使用httpclient實現(xiàn)免費的google翻譯api
- httpclient模擬登陸具體實現(xiàn)(使用js設(shè)置cookie)
- Android 中HttpURLConnection與HttpClient使用的簡單實例
- Android下通過httpClient發(fā)送GET和POST請求的實例代碼
- 探討:使用httpClient在客戶端與服務(wù)器端傳輸對象參數(shù)的詳解
- Android HttpClient GET或者POST請求基本使用方法
- C# HttpClient Cookie驗證解決方法
- AndroidHttpClient使用Cookie應(yīng)用分析
- ASP.NET MVC Web API HttpClient簡介
- httpclient重定向之后獲取網(wǎng)址信息示例
相關(guān)文章
MSDN|CSDN|PUDN的意思...2007-04-04
資料:引起內(nèi)存不能“read”的原因及“written”的解決方案
資料:引起內(nèi)存不能“read”的原因及“written”的解決方案...2007-01-01
提供在IE7中查看網(wǎng)頁源文件的簡單技巧...2007-05-05
閑來無事，每天上聯(lián)眾，聯(lián)眾的密碼經(jīng)過加密后保存在本地注冊表里，看看是怎么加密的。下了個ollydbg，一路跟蹤，發(fā)現(xiàn)算法極其簡單，給出Delphi版本的解密算法（加密部分有興趣的一起來討論）。算法比較粗糟，誰幫優(yōu)化一下：）2008-04-04
google輸入法和dreamweaver沖突了總是出錯自動關(guān)閉郁悶
google輸入法和dreamweaver沖突了總是出錯自動關(guān)閉郁悶...2007-08-08
史上最牛的WINDOWS系統(tǒng)文件詳解...2007-03-03
asp 80070005 80070006 FSO等問題終級解決方法
如果你能看到這文章，證明，您已經(jīng)在網(wǎng)上找了很多種解決方法了，但依然沒有成功。所以，我先給說下如何解決，另附上CSDN上總結(jié)的一般的解決方法。2008-07-07
BlackICE簡單設(shè)置應(yīng)用圖文教程...2007-05-05
在電腦配置并不高的機(jī)子上，不安裝殺毒軟件肯定效率要高得多。本人兩年多不用殺毒軟件也并沒有病毒染身的原因。說白了就是以用戶身份上網(wǎng)!而不是管理員身份。下面說一下怎么以用戶方式上網(wǎng)。2008-03-03
可以提高工作效率 EditPlus自動完成與剪輯庫下載...2007-10-10