快捷導(dǎo)航

Python抓取Discuz!用戶名腳本代碼

更新時(shí)間：2013年12月30日 17:18:37 作者：

這篇文章主要介紹了Python抓取Discuz!用戶名腳本代碼，有需要的朋友可以參考一下

最近學(xué)習(xí)Python，于是就用Python寫了一個(gè)抓取Discuz!用戶名的腳本，代碼很少但是很搓。思路很簡單，就是正則匹配title然后提取用戶名寫入文本文檔。程序以百度站長社區(qū)為例(一共有40多萬用戶)，掛在VPS上就沒管了，雖然用了延時(shí)但是后來發(fā)現(xiàn)一共只抓取了50000多個(gè)用戶名就被封了。。。
代碼如下：

復(fù)制代碼代碼如下:

# -*- coding: utf-8 -*-
# Author: 天一
# Blog: http://www.90blog.org
# Version: 1.0
# 功能: Python抓取百度站長平臺(tái)用戶名腳本

import urllib
import urllib2  
import re
import time

def BiduSpider():
     pattern = re.compile(r'<title>(.*)的個(gè)人資料  百度站長社區(qū) </title>')
     uid=1
     thedatas = []
     while uid <400000:
         theUrl = "http://bbs.zhanzhang.baidu.com/home.php?mod=space&uid="+str(uid)
         uid +=1
         theResponse  = urllib2.urlopen(theUrl)
         thePage = theResponse.read()
         #正則匹配用戶名
         theFindall = re.findall(pattern,thePage)
         #等待0.5秒，以防頻繁訪問被禁止
         time.sleep(0.5)
         if theFindall :
              #中文編碼防止亂碼輸出
              thedatas = theFindall[0].decode('utf-8').encode('gbk')
              #寫入txt文本文檔
              f = open('theUid.txt','a')
              f.writelines(thedatas+'\n')
              f.close()

if __name__ == '__main__':
     BiduSpider()

最終成果如下：

您可能感興趣的文章:

相關(guān)文章

使用python實(shí)現(xiàn)kmean算法
這篇文章主要介紹了使用python實(shí)現(xiàn)kmean算法,kmean 是無監(jiān)督學(xué)習(xí)的一種算法，主要是用來進(jìn)行聚類分析的，他會(huì)在數(shù)據(jù)集中算出幾個(gè)點(diǎn)作為簇中心，求這些數(shù)據(jù)集與這些簇中心的距離，并將距離同一個(gè)簇中心距離最近的數(shù)據(jù)歸為一類,需要的朋友可以參考下
2023-04-04
python fabric實(shí)現(xiàn)遠(yuǎn)程操作和部署示例
這篇文章主要介紹了python使用fabric實(shí)現(xiàn)遠(yuǎn)程操作和部署示例,需要的朋友可以參考下
2014-03-03
詳解Python中數(shù)據(jù)處理的方法總結(jié)及實(shí)現(xiàn)
數(shù)據(jù)增強(qiáng)作為前處理的關(guān)鍵步驟，在整個(gè)計(jì)算機(jī)視覺中有著具足輕重的地位。本文為大家總結(jié)了Python中數(shù)據(jù)處理的方法及實(shí)現(xiàn)，需要的可以參考一下
2022-09-09
python Timer 類使用介紹
這篇文章主要介紹了python Timer 類使用介紹的相關(guān)資料，幫助大家更好的理解和使用python iupdatable包，感興趣的朋友可以了解下
2020-12-12
Python yield的使用詳解
您可能聽說過，帶有 yield 的函數(shù)在 Python 中被稱之為、generator（生成器），何謂 generator ？我們先拋開 generator，以一個(gè)常見的編程題目來展示 yield 的概念
2021-10-10
Python如何使用PIL Image制作GIF圖片
這篇文章主要介紹了Python如何使用PIL Image制作GIF圖片,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-05-05
pyqt5中動(dòng)畫的使用詳解
這篇文章主要介紹了pyqt5中動(dòng)畫的使用詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-04-04
python自動(dòng)化測試之從命令行運(yùn)行測試用例with verbosity
這篇文章主要介紹了python自動(dòng)化測試之從命令行運(yùn)行測試用例with verbosity,是一個(gè)較為經(jīng)典的自動(dòng)化測試實(shí)例,需要的朋友可以參考下
2014-09-09
Python實(shí)戰(zhàn)之實(shí)現(xiàn)簡易的學(xué)生選課系統(tǒng)
又到了小伙伴們最喜歡的python實(shí)戰(zhàn)環(huán)節(jié),文中對實(shí)現(xiàn)簡易的學(xué)生選課系統(tǒng)作了非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python的小伙伴們有很好的幫助,需要的朋友可以參考下
2021-05-05
python+mysql實(shí)現(xiàn)學(xué)生信息查詢系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python+mysql實(shí)現(xiàn)學(xué)生信息查詢系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-02-02