快捷導(dǎo)航

Python實(shí)現(xiàn)周期性抓取網(wǎng)頁(yè)內(nèi)容的方法

更新時(shí)間：2015年11月04日 15:22:07 作者：intergret

這篇文章主要介紹了Python實(shí)現(xiàn)周期性抓取網(wǎng)頁(yè)內(nèi)容的方法,涉及Python時(shí)間函數(shù)及正則匹配的相關(guān)操作技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下

本文實(shí)例講述了Python實(shí)現(xiàn)周期性抓取網(wǎng)頁(yè)內(nèi)容的方法。分享給大家供大家參考，具體如下：

1.使用sched模塊可以周期性地執(zhí)行指定函數(shù)

2.在周期性執(zhí)行指定函數(shù)中抓取指定網(wǎng)頁(yè)，并解析出想要的網(wǎng)頁(yè)內(nèi)容，代碼中是六維論壇的在線人數(shù)

論壇在線人數(shù)統(tǒng)計(jì)代碼：

#coding=utf-8
import time,sched,os,urllib2,re,string
#初始化sched模塊的scheduler類
#第一個(gè)參數(shù)是一個(gè)可以返回時(shí)間戳的函數(shù)，第二個(gè)參數(shù)可以在定時(shí)未到達(dá)之前阻塞。
s = sched.scheduler(time.time,time.sleep)
#被周期性調(diào)度觸發(fā)的函數(shù)
def event_func():
  req = urllib2.Request('http://bt.neu6.edu.cn/')
  response = urllib2.urlopen(req)
  rawdata = response.read()
  response.close()
  usernump = re.compile(r'總計(jì) <em>.*?</em> 人在線')
  usernummatch = usernump.findall(rawdata)
  if usernummatch:
    currentnum=usernummatch[0]
    currentnum=currentnum[string.index(currentnum,'>')+1:string.rindex(currentnum,'<')]
    print "Current Time:",time.strftime('%Y,%m,%d,%H,%M',time.localtime(time.time())),'User num:',currentnum
    # 保存結(jié)果，供圖表工具amcharts使用
    result=open('liuvUserNUm','a')
    result.write('{year: new Date('+time.strftime('%Y,%m,%d,%H,%M',time.localtime(time.time()))+'),value:'+currentnum+'},\n')
    result.close()
#enter四個(gè)參數(shù)分別為：間隔事件、優(yōu)先級(jí)（用于同時(shí)間到達(dá)的兩個(gè)事件同時(shí)執(zhí)行時(shí)定序）、被調(diào)用觸發(fā)的函數(shù)，給他的參數(shù)（注意：一定要以tuple給如，如果只有一個(gè)參數(shù)就(xx,)）
def perform(inc):
  s.enter(inc,0,perform,(inc,))
  event_func()
def mymain(inc=900):
  s.enter(0,0,perform,(inc,))
  s.run()
if __name__ == "__main__":
  mymain()

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

Python讀寫docx文件的方法
今天小編就為大家分享一篇Python讀寫docx文件的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-05-05
Python腳本完成post接口測(cè)試的實(shí)例
今天小編就為大家分享一篇Python腳本完成post接口測(cè)試的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-12-12
Python調(diào)用DeepSeek?API的完整操作指南
本文將詳細(xì)介紹如何使用?Python?調(diào)用?DeepSeek?API,實(shí)現(xiàn)流式對(duì)話并保存對(duì)話記錄,相比?Go?版本,Python?實(shí)現(xiàn)更加簡(jiǎn)潔優(yōu)雅,適合快速開(kāi)發(fā)和原型驗(yàn)證,文中通過(guò)代碼示例講解的非常詳細(xì),需要的朋友可以參考下
2025-02-02
web自動(dòng)化測(cè)試Selenium點(diǎn)擊元素的常用方法
在Web自動(dòng)化測(cè)試中,Selenium提供多種點(diǎn)擊方法,常用的click()方法通過(guò)選中元素并觸發(fā)點(diǎn)擊事件,若click()方法不穩(wěn)定,可以采用JavaScript執(zhí)行點(diǎn)擊或使用ActionChains類模擬鼠標(biāo)點(diǎn)擊,需要的朋友可以參考下
2024-09-09
Python使用低通濾波器模糊圖像功能實(shí)現(xiàn)
這篇文章主要介紹了Python使用低通濾波器模糊圖像,我們介紹了多種不同類型的濾波器核與卷積操作，使用 scipy.ndimage 模塊中的濾波器模糊圖像，利用 scipy.fftpack 模塊的 fft2() 函數(shù)實(shí)現(xiàn)高斯模糊，介紹了scipy.signal模塊的彩色圖像頻域卷積，需要的朋友可以參考下
2023-03-03
Pandas 多層索引操作的實(shí)現(xiàn)
本文主要介紹了Pandas 多層索引操作的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2025-02-02
python3.6+selenium實(shí)現(xiàn)操作Frame中的頁(yè)面元素
這篇文章主要為大家詳細(xì)介紹了python3.6+selenium實(shí)現(xiàn)操作Frame中的頁(yè)面元素，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-07-07
pygame實(shí)現(xiàn)方塊動(dòng)畫實(shí)例講解
在本篇文章里小編給大家整理的是一篇關(guān)于pygame實(shí)現(xiàn)方塊動(dòng)畫實(shí)例講解內(nèi)容，以后需要的朋友們可以學(xué)習(xí)參考下。
2021-12-12
Python實(shí)現(xiàn)智能貪吃蛇游戲的示例代碼
我想大家都玩過(guò)諾基亞上面的貪吃蛇吧，這篇文章將帶你一步步用python語(yǔ)言實(shí)現(xiàn)一個(gè)snake小游戲，文中的示例代碼講解詳細(xì)，感興趣的可以了解一下
2022-07-07
pytest使用@pytest.mark.parametrize()實(shí)現(xiàn)參數(shù)化的示例代碼
這篇文章主要介紹了pytest使用@pytest.mark.parametrize()實(shí)現(xiàn)參數(shù)化,本文通過(guò)示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-07-07