快捷導(dǎo)航

Python實(shí)現(xiàn)抓取網(wǎng)頁(yè)并且解析的實(shí)例

更新時(shí)間：2014年09月20日 17:39:07 投稿：shichen2014

這篇文章主要介紹了Python實(shí)現(xiàn)抓取網(wǎng)頁(yè)并且解析的功能實(shí)例,主要以解析百度問(wèn)答為例說(shuō)明其原理與方法,需要的朋友可以參考下

本文以實(shí)例形式講述了Python實(shí)現(xiàn)抓取網(wǎng)頁(yè)并解析的功能。主要解析問(wèn)答與百度的首頁(yè)。分享給大家供大家參考之用。

主要功能代碼如下：

#!/usr/bin/python
#coding=utf-8

import sys 
import re
import urllib2
from urllib import urlencode
from urllib import quote
import time
maxline = 2000

wenda = re.compile("href=\"http://wenda.so.com/q/.+\?src=(.+?)\"")
baidu = re.compile("<a href=\"http://www.baidu.com/link\?url=.+\".*?>更多知道相關(guān)問(wèn)題.*?</a>")
f1 = open("baidupage.txt","w")
f2 = open("wendapage.txt","w")

for line in sys.stdin:
  if maxline == 0:
    break
  query = line.strip();
  time.sleep(1);
  recall_url = "http://www.so.com/s?&q=" + query;
  response = urllib2.urlopen(recall_url);
  html = response.read();                                                   
  f1.write(html)
  m = wenda.search(html);
  if m:
    if m.group(1) == "110":
      print query + "\twenda\t0";
    else:
      print query + "\twenda\t1";
  else:
    print query + "\twenda\t0";
  recall_url = "http://www.baidu.com/s?wd=" + query +"&ie=utf-8";
  response = urllib2.urlopen(recall_url);
  html = response.read();
  f2.write(html)
  m = baidu.search(html);
  if m:
    print query + "\tbaidu\t1";
  else:
    print query + "\tbaidu\t0";
  maxline = maxline - 1;
f1.close()
f2.close()

希望本文所述對(duì)大家Python程序設(shè)計(jì)的學(xué)習(xí)有所幫助。

您可能感興趣的文章:

Python

相關(guān)文章

TensorFlow獲取加載模型中的全部張量名稱(chēng)代碼
今天小編就為大家分享一篇TensorFlow獲取加載模型中的全部張量名稱(chēng)代碼，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-02-02
tensorflow保持每次訓(xùn)練結(jié)果一致的簡(jiǎn)單實(shí)現(xiàn)
今天小編就為大家分享一篇tensorflow保持每次訓(xùn)練結(jié)果一致的實(shí)現(xiàn)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-02-02
30秒輕松實(shí)現(xiàn)TensorFlow物體檢測(cè)
這篇文章主要為大家詳細(xì)介紹了30秒輕松實(shí)現(xiàn)TensorFlow物體檢測(cè)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-03-03
Python File readlines() 使用方法
readlines() 方法用于讀取所有行(直到結(jié)束符 EOF)并返回列表，該列表可以由 Python 的 for... in ... 結(jié)構(gòu)進(jìn)行處理，如果碰到結(jié)束符 EOF 則返回空字符串,需要的朋友可以參考下
2018-03-03
python3讀取MySQL-Front的MYSQL密碼
本篇文章主要介紹了python3讀取MySQL-Front的MYSQL密碼的相關(guān)知識(shí)，具有很好的參考價(jià)值。下面跟著小編一起來(lái)看下吧
2017-05-05
用Python爬蟲(chóng)破解滑動(dòng)驗(yàn)證碼的案例解析
今天分享個(gè)如何簡(jiǎn)單處理滑動(dòng)圖片的驗(yàn)證碼的案例，主要是使用Python爬蟲(chóng)破解滑動(dòng)驗(yàn)證碼的相關(guān)實(shí)現(xiàn)代碼，感興趣的朋友跟隨小編一起看看吧
2021-05-05
python實(shí)現(xiàn)桌面氣泡提示功能
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)桌面氣泡提示功能，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-07-07
OpenCV讀取與寫(xiě)入圖片的實(shí)現(xiàn)
這篇文章主要介紹了OpenCV讀取與寫(xiě)入圖片的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-10-10
python 從遠(yuǎn)程服務(wù)器下載日志文件的程序
本文提供了一種方法，該程序可實(shí)現(xiàn)抓取服務(wù)器的日志文件到本地，根據(jù)該程序可自行擴(kuò)展對(duì)日志文件的自動(dòng)化分析。常用于數(shù)據(jù)挖掘、生產(chǎn)維護(hù)等
2013-02-02
Python文件操作基本流程代碼實(shí)例
這篇文章主要介紹了Python文件操作基本流程代碼實(shí)例，具有一定借鑒價(jià)值，需要的朋友可以了解下。
2017-12-12