Java 爬蟲工具Jsoup詳解

更新時間：2017年05月11日 09:55:35 作者：Smile_Miracle

這篇文章主要介紹了 Java 爬蟲工具Jsoup詳解的相關(guān)資料,需要的朋友可以參考下

Java 爬蟲工具Jsoup詳解

Jsoup是一款 Java 的 HTML 解析器，可直接解析某個 URL 地址、HTML 文本內(nèi)容。它提供了一套非常省力的 API，可通過 DOM，CSS 以及類似于 jQuery 的操作方法來取出和操作數(shù)據(jù)。

jsoup 的主要功能如下：

1. 從一個 URL，文件或字符串中解析 HTML；
2. 使用 DOM 或 CSS 選擇器來查找、取出數(shù)據(jù)；
3. 可操作 HTML 元素、屬性、文本；

jsoup 是基于 MIT 協(xié)議發(fā)布的，可放心使用于商業(yè)項目。

jsoup 可以從包括字符串、URL 地址以及本地文件來加載 HTML 文檔，并生成 Document 對象實例。

簡單而言，Jsoup就是先取html頁面代碼然后解析這些頁面通過Jsoup攜帶的滿足我們絕大多數(shù)需求的各種選擇器從這個頁面中獲取我們所需要的重要數(shù)據(jù)的一款功能強大的html解析器，但也只是相對而言，這里的頁面這是死的靜態(tài)頁面，如果你想獲取動態(tài)生成的頁面數(shù)據(jù)那么你得用到其他的java 爬蟲技術(shù)，我會不定時更新這些技術(shù)一起探討。下面我們來具體談?wù)勅绾芜\用Jsoup

一、如何取頁面

Jsoup提供了用來解析html頁面的方法 parse(),我們通過解析它可以獲取整個頁面的dom對象，通過這個對象來獲取你所需要的頁面所須有的參數(shù)。獲取頁面的方法有很多，這里就簡單的列舉幾個：

① 通過Jsoup攜帶的connect()方法

String htmlPage = Jsoup.connect("https://www.baidu.com").get().toString();

這個方法說需要的參數(shù)就是一個String類型的url鏈接，但是你的注意把這些鏈接的protrol加上，以免問題，其實這個方法解決了我們很多問題，我們完全可以把Jsoup解析html抽取成一段通用工具類,然后通過改變拼接的url參數(shù)獲取到很多我們想要的東西，舉個例子:京東和淘寶的商品鏈接都是固定的，通過改變其三方商品ID來獲取商品詳情參數(shù)。

String url = "https://item.jd.com/11476104681.html";

完全可以替換成

String url = "https://item.jd.com/"+skuId+".html";

通過改變他的三方商品ID你就可以獲取這個頁面一些基本數(shù)據(jù)，像商品的圖片和標(biāo)題什么的都可以輕松獲取，而價格因為做了一些相關(guān)方面的處理得動態(tài)的獲取，這里先不做說明，后面慢慢會講解。

②通過httpclient直接獲取這個頁面的靜態(tài)頁面

先貼一部分httpclient獲取頁面工具


import java.io.IOException;
import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.Set;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.ParseException;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.HttpUriRequest;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.protocol.HTTP;
import org.apache.http.util.EntityUtils;
/**
 * HTTP請求工具類.
 * @author LuoLong
 * @since 20150513
 *
 */
public class HttpClientUtils {
  /**
   * post方式請求.
   * @param url 請求地址.
   * @param params 請求參數(shù)
   * @return String
   */
  public static String post(String url, Map<String, String> params) {
    DefaultHttpClient httpclient = new DefaultHttpClient();
    String body = null;

    HttpPost post = postForm(url, params);

    body = invoke(httpclient, post);

    httpclient.getConnectionManager().shutdown();

    return body;
  }

  /**
   * get方式請求.
   * @param url 請求地址.
   * @return String
   */
  public static String get(String url) {
    DefaultHttpClient httpclient = new DefaultHttpClient();
    String body = null;

    HttpGet get = new HttpGet(url);
    body = invoke(httpclient, get);

    httpclient.getConnectionManager().shutdown();

    return body;
  }
  /**
   * 請求方法.
   * @param httpclient DefaultHttpClient.
   * @param httpost 請求方式.
   * @return String
   */
  private static String invoke(DefaultHttpClient httpclient,
      HttpUriRequest httpost) {

    HttpResponse response = sendRequest(httpclient, httpost);
    String body = paseResponse(response);

    return body;
  }

  /**
   * 
   * @param response
   * @return
   */
  @SuppressWarnings({ "deprecation", "unused" })
  private static String paseResponse(HttpResponse response) {
    HttpEntity entity = response.getEntity();

    String charset = EntityUtils.getContentCharSet(entity);

    String body = null;
    try {
      body = EntityUtils.toString(entity);
    } catch (ParseException e) {
      e.printStackTrace();
    } catch (IOException e) {
      e.printStackTrace();
    }

    return body;
  }

  private static HttpResponse sendRequest(DefaultHttpClient httpclient,
      HttpUriRequest httpost) {
    HttpResponse response = null;

    try {
      response = httpclient.execute(httpost);
    } catch (ClientProtocolException e) {
      e.printStackTrace();
    } catch (IOException e) {
      e.printStackTrace();
    }
    return response;
  }

  @SuppressWarnings("deprecation")
  private static HttpPost postForm(String url, Map<String, String> params) {

    HttpPost httpost = new HttpPost(url);
    List<NameValuePair> nvps = new ArrayList<NameValuePair>();

    Set<String> keySet = params.keySet();
    for (String key : keySet) {
      nvps.add(new BasicNameValuePair(key, params.get(key)));
    }
    try {
      httpost.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8));
    } catch (UnsupportedEncodingException e) {
      e.printStackTrace();
    }

    return httpost;
  }
}

通過get()方法就可以獲取html頁面的String類型數(shù)據(jù)

String content = HttpClientUtils.get(url);
或者你可以直接把頁面下載到本地，然后解析此html文檔獲取
File input = new File(FilePath);
Document doc = Jsoup.parse(input, "UTF-8", url);

二、解析頁面獲取需要的數(shù)據(jù)

當(dāng)你獲取到頁面的dom對象后，那么下面的操作就非常簡單了，你只需要通過操作這個dom對象來獲取頁面所有的靜態(tài)資源，動態(tài)加載的資源不在此列，后面在做講解。

先貼一段百度網(wǎng)頁的源代碼：

 </form>
    <div id="m"></div>
   </div>
   </div>
   <div id="u">
   <a class="toindex" href="/" rel="external nofollow" >百度首頁</a>
   <a href="javascript:;" rel="external nofollow" name="tj_settingicon" class="pf">設(shè)置<i class="c-icon c-icon-triangle-down"></i></a>
   <a  rel="external nofollow" rel="external nofollow" name="tj_login" class="lb" onclick="return false;">登錄</a>
   </div>
   <div id="u1">
   <a  rel="external nofollow" name="tj_trnews" class="mnav">新聞</a>
   <a  rel="external nofollow" name="tj_trhao123" class="mnav">hao123</a>
   <a  rel="external nofollow" name="tj_trmap" class="mnav">地圖</a>
   <a  rel="external nofollow" name="tj_trvideo" class="mnav">視頻</a>
   <a  rel="external nofollow" name="tj_trtieba" class="mnav">貼吧</a>
   <a  rel="external nofollow" name="tj_trxueshu" class="mnav">學(xué)術(shù)</a>
   <a  rel="external nofollow" rel="external nofollow" name="tj_login" class="lb" onclick="return false;">登錄</a>
   <a  rel="external nofollow" name="tj_settingicon" class="pf">設(shè)置</a>
   <a  rel="external nofollow" name="tj_briicon" class="bri" style="display: block;">更多產(chǎn)品</a>
   </div>
  </div>
  </div> 
  <div class="s_tab" id="s_tab"> 
  <b>網(wǎng)頁</b>
  <a  rel="external nofollow" wdfield="word" onmousedown="return c({'fm':'tab','tab':'news'})">新聞</a>
  <a  rel="external nofollow" wdfield="kw" onmousedown="return c({'fm':'tab','tab':'tieba'})">貼吧</a>
  <a  rel="external nofollow" wdfield="word" onmousedown="return c({'fm':'tab','tab':'zhidao'})">知道</a>
  <a  rel="external nofollow" wdfield="key" onmousedown="return c({'fm':'tab','tab':'music'})">音樂</a>
  <a  rel="external nofollow" wdfield="word" onmousedown="return c({'fm':'tab','tab':'pic'})">圖片</a>
  <a  rel="external nofollow" wdfield="word" onmousedown="return c({'fm':'tab','tab':'video'})">視頻</a>
  <a  rel="external nofollow" wdfield="word" onmousedown="return c({'fm':'tab','tab':'map'})">地圖</a>
  <a  rel="external nofollow" wdfield="word" onmousedown="return c({'fm':'tab','tab':'wenku'})">文庫</a>
  <a  rel="external nofollow" onmousedown="return c({'fm':'tab','tab':'more'})">更多&raquo;</a> 
  </div> 
  <div class="qrcodeCon"> 
  <div id="qrcode"> 
   <div class="qrcode-item qrcode-item-1"> 
   <div class="qrcode-img"></div> 
   <div class="qrcode-text"> 
    <p><b>手機百度</b></p> 
   </div> 
   </div> 
  </div> 
  </div> 
  <div id="ftCon"> 
  <div class="ftCon-Wrapper">
   <div id="ftConw">
   <p id="lh"><a id="setf"  rel="external nofollow" onmousedown="return ns_c({'fm':'behs','tab':'favorites','pos':0})" target="_blank">把百度設(shè)為主頁</a><a onmousedown="return ns_c({'fm':'behs','tab':'tj_about'})"  rel="external nofollow" >關(guān)于百度</a><a onmousedown="return ns_c({'fm':'behs','tab':'tj_about_en'})"  rel="external nofollow" >About&nbsp;&nbsp;Baidu</a><a onmousedown="return ns_c({'fm':'behs','tab':'tj_tuiguang'})"  rel="external nofollow" >百度推廣</a></p>
   <p id="cp">&copy;2017&nbsp;Baidu&nbsp;<a  rel="external nofollow" onmousedown="return ns_c({'fm':'behs','tab':'tj_duty'})">使用百度前必讀</a>&nbsp;<a  rel="external nofollow" class="cp-feedback" onmousedown="return ns_c({'fm':'behs','tab':'tj_homefb'})">意見反饋</a>&nbsp;京ICP證030173號&nbsp;<i class="c-icon-icrlogo"></i>&nbsp;<a id="jgwab" target="_blank"  rel="external nofollow" >京公網(wǎng)安備11000002000001號</a>&nbsp;<i class="c-icon-jgwablogo"></i></p>
   </div>
  </div>
  </div> 
  <div id="wrapper_wrapper"> 
  </div> 
 </div> 
 <div class="c-tips-container" id="c-tips-container"></div>

在貼上Jsoup自身攜帶的常用的幾個獲取dom對象具體元素的方法：

method              description
getElementsByClass()       通過Class屬性來定位元素，獲取的是所有帶這個class屬性的集合
getElementsByTag();       通過標(biāo)簽名字來定位元素，獲取的是所有帶有這個標(biāo)簽名字的元素結(jié)合 
getElementById();        通過標(biāo)簽的ID來定位元素，這個是精準(zhǔn)定位，因為頁面的ID基本不會重復(fù)
getElementsByAttributeValue();  通過屬性和屬性名來定位元素，獲取的也是一個滿足條件的集合;
getElementsByAttributeValueMatching()    通過正則匹配屬性

比如說我現(xiàn)在要獲取百度首頁這個title,那么我們得先確定這玩意在哪，通過查看我們發(fā)現(xiàn)它是id=”u”的div標(biāo)簽的一個子元素，那么不管那么多我們先通過這個Id取到這個對象然后在獲取這個Title,下面是具體操作

//獲取頁面對象
String startPage="https://www.baidu.com";

Document document = Jsoup.connect(startPage).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36").get();

//定位元素父級
Element parentElement = document.getElementById("u");

//定位具體元素
Element titleElement = parentElement.getElementsByTag("a").get(0);

//獲取所需數(shù)據(jù)
String title = titleElement.text();

System.out.println(title);

又或者我需要獲取頁面《手機百度》這個數(shù)據(jù)：

String startPage="https://www.baidu.com";

Document document = Jsoup.connect(startPage).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36").get();

Element elementById = document.getElementById("qrcode");

String text = elementById.getAllElements().get(0).getAllElements().get(1).getElementsByTag("b").text();

System.out.println(text);

這就是一個很簡單的爬蟲編寫工具，Jsoup功能很強大，對直接爬取沒有動態(tài)加載的靜態(tài)資源頁面再適合不過。

感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！

您可能感興趣的文章: