快捷導(dǎo)航

java抓取網(wǎng)頁(yè)數(shù)據(jù)獲取網(wǎng)頁(yè)中所有的鏈接實(shí)例分享

更新時(shí)間：2013年12月31日 09:26:25 作者：

java抓取網(wǎng)頁(yè)數(shù)據(jù)獲取網(wǎng)頁(yè)中所有的鏈接實(shí)例分享，使用方法，只要實(shí)例化HtmlParser時(shí)傳入網(wǎng)頁(yè)地址就可以了

效果圖

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class HtmlParser {
/**
* 要分析的網(wǎng)頁(yè)
*/
String htmlUrl;

/**
* 分析結(jié)果
*/
ArrayList<String> hrefList = new ArrayList();

/**
* 網(wǎng)頁(yè)編碼方式
*/
String charSet;

public HtmlParser(String htmlUrl) {
// TODO 自動(dòng)生成的構(gòu)造函數(shù)存根
this.htmlUrl = htmlUrl;
}

/**
* 獲取分析結(jié)果
*
* @throws IOException
*/
public ArrayList<String> getHrefList() throws IOException {

parser();
return hrefList;
}

/**
* 解析網(wǎng)頁(yè)鏈接
*
* @return
* @throws IOException
*/
private void parser() throws IOException {
  URL url = new URL(htmlUrl);
  HttpURLConnection connection = (HttpURLConnection) url.openConnection();
  connection.setDoOutput(true);

String contenttype = connection.getContentType();
charSet = getCharset(contenttype);

  InputStreamReader isr = new InputStreamReader(
    connection.getInputStream(), charSet);
  BufferedReader br = new BufferedReader(isr);

  String str = null, rs = null;
  while ((str = br.readLine()) != null) {
   rs = getHref(str);

   if (rs != null)
    hrefList.add(rs);
  }

}

/**
* 獲取網(wǎng)頁(yè)編碼方式
*
* @param str
*/
private String getCharset(String str) {
  Pattern pattern = Pattern.compile("charset=.*");
  Matcher matcher = pattern.matcher(str);
  if (matcher.find())
   return matcher.group(0).split("charset=")[1];
  return null;
}

/**
* 從一行字符串中讀取鏈接
*
* @return
*/
private String getHref(String str) {
  Pattern pattern = Pattern.compile("<a href=.*</a>");
  Matcher matcher = pattern.matcher(str);
  if (matcher.find())
   return matcher.group(0);
  return null;
}

public static void main(String[] arg) throws IOException {
  HtmlParser a = new HtmlParser("http://news.163.com/");
  ArrayList<String> hrefList = a.getHrefList();
  for (int i = 0; i < hrefList.size(); i++)
   System.out.println(hrefList.get(i));

}

您可能感興趣的文章:

java抓取網(wǎng)頁(yè)數(shù)據(jù)

相關(guān)文章

Spring?Boot?2.6.x整合Swagger啟動(dòng)失敗報(bào)錯(cuò)問(wèn)題的完美解決辦法
這篇文章主要給大家介紹了關(guān)于Spring?Boot?2.6.x整合Swagger啟動(dòng)失敗報(bào)錯(cuò)問(wèn)題的完美解決辦法,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2022-03-03
如何替換@PathVariable中的變量
這篇文章主要介紹了如何替換@PathVariable中的變量，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2021-10-10
SpringBoot生成PDF的五種實(shí)現(xiàn)方法總結(jié)
這篇文章主要介紹了SpringBoot生成PDF的五種實(shí)現(xiàn)方法,在開(kāi)發(fā)中經(jīng)常會(huì)遇到需要進(jìn)行對(duì)一些數(shù)據(jù)進(jìn)行動(dòng)態(tài)導(dǎo)出PDF文件,然后讓用戶自己選擇是否需要打印出來(lái),這篇文章我們來(lái)介紹五種實(shí)現(xiàn)方法,需要的朋友可以參考下
2024-10-10
SpringBoot使用Shiro實(shí)現(xiàn)動(dòng)態(tài)加載權(quán)限詳解流程
本文小編將基于?SpringBoot?集成?Shiro?實(shí)現(xiàn)動(dòng)態(tài)uri權(quán)限，由前端vue在頁(yè)面配置uri，Java后端動(dòng)態(tài)刷新權(quán)限，不用重啟項(xiàng)目，以及在頁(yè)面分配給用戶?角色?、?按鈕?、uri?權(quán)限后，后端動(dòng)態(tài)分配權(quán)限，用戶無(wú)需在頁(yè)面重新登錄才能獲取最新權(quán)限，一切權(quán)限動(dòng)態(tài)加載，靈活配置
2022-07-07
Mybatis如何開(kāi)啟控制臺(tái)打印sql語(yǔ)句
在SpringBoot與Mybatis整合開(kāi)發(fā)中,開(kāi)啟控制臺(tái)SQL語(yǔ)句打印是一個(gè)常見(jiàn)需求,有助于調(diào)試與性能優(yōu)化,方法一：在Mybatis配置文件mybatis-config.xml中添加設(shè)置；方法二：在SpringBoot配置文件application.yml或properties中
2024-11-11
Java中使用instanceof判斷對(duì)象類型的示例
在List<Object>中遍歷Object時(shí),先判斷類型,再定向轉(zhuǎn)換,本文給大家介紹Java中使用instanceof判斷對(duì)象類型,感興趣的朋友跟隨小編一起看看吧
2023-08-08
java 實(shí)現(xiàn)微信服務(wù)器下載圖片到自己服務(wù)器
這篇文章主要介紹了 java 實(shí)現(xiàn)微信服務(wù)器下載圖片到自己服務(wù)器的相關(guān)資料,需要的朋友可以參考下
2017-05-05
Spring 整合 MyBatis的實(shí)現(xiàn)步驟
SpringMVC 本來(lái)就是 Spring 框架的一部分，這兩者無(wú)須再做整合，所以 SSM 整合的關(guān)鍵就是Spring對(duì)MyBatis的整合，三大框架整合完成后，將以 Spring 為核心，調(diào)用有關(guān)資源，高效運(yùn)作，這篇文章主要介紹了 Spring 整合 MyBatis的實(shí)現(xiàn)步驟,需要的朋友可以參考下
2023-02-02
Spring事件監(jiān)聽(tīng)機(jī)制使用和原理解析
Spring的監(jiān)聽(tīng)機(jī)制基于觀察者模式，就是就是我們所說(shuō)的發(fā)布訂閱模式，這種模式可以在一定程度上實(shí)現(xiàn)代碼的解耦，本文將從原理上解析Spring事件監(jiān)聽(tīng)機(jī)制,需要的朋友可以參考下
2023-06-06
Spring中的ConversionService源碼解析
這篇文章主要介紹了Spring中的ConversionService源碼解析,ConversionService是類型轉(zhuǎn)換服務(wù)的接口,從名字就可以看出ConverterRegistry是要實(shí)現(xiàn)轉(zhuǎn)換器注冊(cè)表的接口,添加和移除Converter和GenericConverter,需要的朋友可以參考下
2023-11-11