快捷導(dǎo)航

python線程池的實(shí)現(xiàn)實(shí)例

更新時(shí)間：2013年11月18日 10:48:27 作者：

這篇文章主要介紹了python線程池的實(shí)現(xiàn)方法，代碼簡(jiǎn)單實(shí)用，供大家參考使用

直接上代碼：

# -*- coding: utf-8 -*-
import Queue
import threading
import urllib
import urllib2
import os

def down(url,n):
    print 'item '+str(n)+' start '
    filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
    urllib.urlretrieve(url, filename)
    print 'item '+str(n)+' finish '

def worker():
    while True:
        i = q.get()
        url=i[0]
        n=i[1]
        down(url,n)
        q.task_done()

if __name__=="__main__":

num_worker_threads=100

    f=open('url.txt')
    l=f.readlines()
    q = Queue.Queue()
    for i in range(num_worker_threads):
        t = threading.Thread(target=worker)
        t.daemon = True
        t.start()

for i in range(0,len(l)):
q.put((l[i],i))

q.join()

您可能感興趣的文章:

相關(guān)文章

Python實(shí)現(xiàn)簡(jiǎn)單的代理服務(wù)器
這篇文章主要介紹了Python實(shí)現(xiàn)簡(jiǎn)單的代理服務(wù)器,可實(shí)現(xiàn)代理服務(wù)器基本的包轉(zhuǎn)發(fā)功能,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
2015-07-07
Python基本知識(shí)之datetime模塊詳解
這篇文章主要給大家介紹了關(guān)于Python基本知識(shí)之datetime模塊的相關(guān)資料,Python內(nèi)置的時(shí)間模塊datetime包含下面的模塊包含六個(gè)類(lèi)和兩個(gè)常數(shù),提供了用于處理日期和時(shí)間的類(lèi)和對(duì)應(yīng)的方法,一般用于處理年、月、日、時(shí)、分、秒的統(tǒng)計(jì)和計(jì)算等需求,需要的朋友可以參考下
2023-08-08
pycharm不在cmd中運(yùn)行卻在python控制臺(tái)運(yùn)行問(wèn)題解決
這篇文章主要介紹了pycharm不在cmd中運(yùn)行卻在python控制臺(tái)運(yùn)行問(wèn)題解決,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
2023-08-08
Python爬取個(gè)人微信朋友信息操作示例
這篇文章主要介紹了Python爬取個(gè)人微信朋友信息操作,涉及Python使用itchat包實(shí)現(xiàn)微信朋友信息爬取操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下
2018-08-08
Python區(qū)塊鏈范圍結(jié)論及Genesis Block的添加教程
這篇文章主要為大家介紹了Python區(qū)塊鏈范圍結(jié)論及Genesis Block的添加，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-05-05
python使用matplotlib繪制折線圖的示例代碼
這篇文章主要介紹了python使用matplotlib繪制折線圖的示例代碼，幫助大家更好的利用matplotlib繪制圖形，感興趣的朋友可以了解下
2020-09-09
關(guān)于tensorflow softmax函數(shù)用法解析
這篇文章主要介紹了關(guān)于tensorflow softmax函數(shù)用法解析，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-06-06
零基礎(chǔ)寫(xiě)python爬蟲(chóng)之HTTP異常處理
我們?cè)谑褂门老x(chóng)來(lái)抓取網(wǎng)頁(yè)內(nèi)容的時(shí)候，HTTP異常是必須要注意的一項(xiàng)，所以本文，我們來(lái)詳細(xì)探尋一下HTTP異常處理的相關(guān)內(nèi)容，通過(guò)一些具體的實(shí)例來(lái)分析一下，非常的簡(jiǎn)單，但是卻很實(shí)用。
2014-11-11
Python中常見(jiàn)占位符的用法解析
在Python編程中,經(jīng)常需要在字符串中插入變量或占位符來(lái)構(gòu)建動(dòng)態(tài)的文本內(nèi)容,這篇文章主要為大家介紹了一些常見(jiàn)占位符的使用,需要的可以了解下
2024-01-01
python pandas dataframe 按列或者按行合并的方法
下面小編就為大家分享一篇python pandas dataframe 按列或者按行合并的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-04-04