快捷導(dǎo)航

Java實現(xiàn)的爬蟲抓取圖片并保存操作示例

更新時間：2018年08月31日 09:47:10 作者：smilecjw

這篇文章主要介紹了Java實現(xiàn)的爬蟲抓取圖片并保存操作,涉及Java針對頁面URL訪問、獲取、字符串匹配、文件下載等相關(guān)操作技巧,需要的朋友可以參考下

本文實例講述了Java實現(xiàn)的爬蟲抓取圖片并保存操作。分享給大家供大家參考，具體如下：

這是我參考了網(wǎng)上一些資料寫的第一個java爬蟲程序

本來是想獲取煎蛋網(wǎng)無聊圖的圖片，但是網(wǎng)絡(luò)返回碼一直是503，所以換了網(wǎng)站

import java.io.BufferedReader;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
 * 網(wǎng)絡(luò)爬蟲取數(shù)據(jù)
 *
 * */
public class JianDan {
  public static String GetUrl(String inUrl){
    StringBuilder sb = new StringBuilder();
    try {
      URL url =new URL(inUrl);
      BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream()));
      String temp="";
      while((temp=reader.readLine())!=null){
        //System.out.println(temp);
        sb.append(temp);
      }
    } catch (MalformedURLException e) {
      // TODO 自動生成的 catch 塊
      e.printStackTrace();
    } catch (IOException e) {
      // TODO 自動生成的 catch 塊
      e.printStackTrace();
    }
    return sb.toString();
  }
  public static List<String> GetMatcher(String str,String url){
    List<String> result = new ArrayList<String>();
    Pattern p =Pattern.compile(url);//獲取網(wǎng)頁地址
    Matcher m =p.matcher(str);
    while(m.find()){
      //System.out.println(m.group(1));
      result.add(m.group(1));
    }
    return result;
  }
  public static void main(String args[]){
    String str=GetUrl("http://www.163.com");
    List<String> ouput =GetMatcher(str,"src=\"([\\w\\s./:]+?)\"");
    for(String temp:ouput){
      //System.out.println(ouput.get(0));
      System.out.println(temp);
    }
    String aurl=ouput.get(0);
     // 構(gòu)造URL
    URL url;
    try {
      url = new URL(aurl);
       // 打開URL連接
      URLConnection con = (URLConnection)url.openConnection();
       // 得到URL的輸入流
      InputStream input = con.getInputStream();
      // 設(shè)置數(shù)據(jù)緩沖
      byte[] bs = new byte[1024 * 2];
      // 讀取到的數(shù)據(jù)長度
      int len;
      // 輸出的文件流保存圖片至本地
      OutputStream os = new FileOutputStream("a.png");
      while ((len = input.read(bs)) != -1) {
      os.write(bs, 0, len);
      }
      os.close();
      input.close();
    } catch (MalformedURLException e) {
      // TODO 自動生成的 catch 塊
      e.printStackTrace();
    } catch (IOException e) {
      // TODO 自動生成的 catch 塊
      e.printStackTrace();
    }
  }
}

運行輸出：