最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python自定義線程池實現(xiàn)方法分析

 更新時間:2018年02月07日 10:10:50   作者:蒼松  
這篇文章主要介紹了Python自定義線程池實現(xiàn)方法,結合實例形式較為詳細的分析了Python自定義線程池的概念、原理、實現(xiàn)方法及相關注意事項,需要的朋友可以參考下

本文實例講述了Python自定義線程池實現(xiàn)方法。分享給大家供大家參考,具體如下:

關于python的多線程,由與GIL的存在被廣大群主所詬病,說python的多線程不是真正的多線程。但多線程處理IO密集的任務效率還是可以杠杠的。

我實現(xiàn)的這個線程池其實是根據(jù)銀角的思路來實現(xiàn)的。

主要思路:

任務獲取和執(zhí)行:

1、任務加入隊列,等待線程來獲取并執(zhí)行。
2、按需生成線程,每個線程循環(huán)取任務。

線程銷毀:

1、獲取任務是終止符時,線程停止。
2、線程池close()時,向任務隊列加入和已生成線程等量的終止符。
3、線程池terminate()時,設置線程下次任務取到為終止符。

流程概要設計:

詳細代碼:

import threading
import contextlib
from Queue import Queue
import time
class ThreadPool(object):
  def __init__(self, max_num):
    self.StopEvent = 0#線程任務終止符,當線程從隊列獲取到StopEvent時,代表此線程可以銷毀??稍O置為任意與任務有區(qū)別的值。
    self.q = Queue()
    self.max_num = max_num #最大線程數(shù)
    self.terminal = False  #是否設置線程池強制終止
    self.created_list = [] #已創(chuàng)建線程的線程列表
    self.free_list = [] #空閑線程的線程列表
    self.Deamon=False #線程是否是后臺線程
  def run(self, func, args, callback=None):
    """
    線程池執(zhí)行一個任務
    :param func: 任務函數(shù)
    :param args: 任務函數(shù)所需參數(shù)
    :param callback:
    :return: 如果線程池已經終止,則返回True否則None
    """
    if len(self.free_list) == 0 and len(self.created_list) < self.max_num:
      self.create_thread()
    task = (func, args, callback,)
    self.q.put(task)
  def create_thread(self):
    """
    創(chuàng)建一個線程
    """
    t = threading.Thread(target=self.call)
    t.setDaemon(self.Deamon)
    t.start()
    self.created_list.append(t)#將當前線程加入已創(chuàng)建線程列表created_list
  def call(self):
    """
    循環(huán)去獲取任務函數(shù)并執(zhí)行任務函數(shù)
    """
    current_thread = threading.current_thread()  #獲取當前線程對象·
    event = self.q.get()  #從任務隊列獲取任務
    while event != self.StopEvent:  #判斷獲取到的任務是否是終止符
      func, arguments, callback = event#從任務中獲取函數(shù)名、參數(shù)、和回調函數(shù)名
      try:
        result = func(*arguments)
        func_excute_status =True#func執(zhí)行成功狀態(tài)
      except Exception as e:
        func_excute_status = False
        result =None
        print '函數(shù)執(zhí)行產生錯誤', e#打印錯誤信息
      if func_excute_status:#func執(zhí)行成功后才能執(zhí)行回調函數(shù)
        if callback is not None:#判斷回調函數(shù)是否是空的
          try:
            callback(result)
          except Exception as e:
            print '回調函數(shù)執(zhí)行產生錯誤', e # 打印錯誤信息
      with self.worker_state(self.free_list,current_thread):
        #執(zhí)行完一次任務后,將線程加入空閑列表。然后繼續(xù)去取任務,如果取到任務就將線程從空閑列表移除
        if self.terminal:#判斷線程池終止命令,如果需要終止,則使下次取到的任務為StopEvent。
          event = self.StopEvent
        else: #否則繼續(xù)獲取任務
          event = self.q.get() # 當線程等待任務時,q.get()方法阻塞住線程,使其持續(xù)等待
    else:#若線程取到的任務是終止符,就銷毀線程
      #將當前線程從已創(chuàng)建線程列表created_list移除
      self.created_list.remove(current_thread)
  def close(self):
    """
    執(zhí)行完所有的任務后,所有線程停止
    """
    full_size = len(self.created_list)#按已創(chuàng)建的線程數(shù)量往線程隊列加入終止符。
    while full_size:
      self.q.put(self.StopEvent)
      full_size -= 1
  def terminate(self):
    """
    無論是否還有任務,終止線程
    """
    self.terminal = True
    while self.created_list:
      self.q.put(self.StopEvent)
    self.q.queue.clear()#清空任務隊列
  def join(self):
    """
    阻塞線程池上下文,使所有線程執(zhí)行完后才能繼續(xù)
    """
    for t in self.created_list:
      t.join()
  @contextlib.contextmanager#上下文處理器,使其可以使用with語句修飾
  def worker_state(self, state_list, worker_thread):
    """
    用于記錄線程中正在等待的線程數(shù)
    """
    state_list.append(worker_thread)
    try:
      yield
    finally:
      state_list.remove(worker_thread)
if __name__ == '__main__':
  def Foo(arg):
    return arg
    # time.sleep(0.1)
  def Bar(res):
    print res
  pool=ThreadPool(5)
  # pool.Deamon=True#需在pool.run之前設置
  for i in range(1000):
    pool.run(func=Foo,args=(i,),callback=Bar)
  pool.close()
  pool.join()
  # pool.terminate()
  print "任務隊列里任務數(shù)%s" %pool.q.qsize()
  print "當前存活子線程數(shù)量:%d" % threading.activeCount()
  print "當前線程創(chuàng)建列表:%s" %pool.created_list
  print "當前線程創(chuàng)建列表:%s" %pool.free_list

關于上下文處理:

來個簡單例子說明:

下面的代碼手動自定義了一個myopen方法,模擬我們常見的with open() as f:語句。具體的contextlib模塊使用,會單獨開章來將。

# coding:utf-8
import contextlib
@contextlib.contextmanager#定義該函數(shù)支持上下文with語句
def myopen(filename,mode):
  f=open(filename,mode)
  try:
    yield f.readlines()#正常執(zhí)行返回f.readlines()
  except Exception as e:
    print e
  finally:
    f.close()#最后在with代碼快執(zhí)行完畢后返回執(zhí)行finally下的f.close()實現(xiàn)關閉文件
if __name__ == '__main__':
  with myopen(r'c:\ip1.txt','r') as f:
    for line in f:
      print line

更多關于Python相關內容感興趣的讀者可查看本站專題:《Python進程與線程操作技巧總結》、《Python Socket編程技巧總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總

希望本文所述對大家Python程序設計有所幫助。

相關文章

  • 淺析Python中壓縮zipfile與解壓縮tarfile模塊的使用

    淺析Python中壓縮zipfile與解壓縮tarfile模塊的使用

    Python?提供了兩個標準庫模塊來處理文件的壓縮和解壓縮操作:zipfile和tarfile,本文將分享?這兩個模塊的使用方法,感興趣的小伙伴可以跟隨小編一起學習一下
    2023-10-10
  • tensorflow入門:tfrecord 和tf.data.TFRecordDataset的使用

    tensorflow入門:tfrecord 和tf.data.TFRecordDataset的使用

    今天小編就為大家分享一篇tensorflow入門:tfrecord 和tf.data.TFRecordDataset的使用,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-01-01
  • Pytorch框架構建ResNet模型的實現(xiàn)示例

    Pytorch框架構建ResNet模型的實現(xiàn)示例

    本文主要介紹了Pytorch框架構建ResNet模型的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2024-06-06
  • pycharm中TensorFlow調試常見問題小結

    pycharm中TensorFlow調試常見問題小結

    本文主要介紹了在pycharm下調用tensorflow庫時會出現(xiàn)的問題,在本文做個小結,也給自己留個筆記,感興趣的可以了解一下
    2021-06-06
  • Python中zipfile壓縮包模塊的使用

    Python中zipfile壓縮包模塊的使用

    zipfile 模塊提供了創(chuàng)建、讀取、寫入、添加及列出 ZIP 文件的工具,本文主要介紹了Python中zipfile壓縮包模塊的使用,感興趣的可以了解一下
    2021-05-05
  • python網(wǎng)絡爬蟲selenium打開多窗口與切換頁面的實現(xiàn)

    python網(wǎng)絡爬蟲selenium打開多窗口與切換頁面的實現(xiàn)

    本文主要介紹了python網(wǎng)絡爬蟲selenium打開多窗口與切換頁面的實現(xiàn),文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-01-01
  • Python編程進階代碼邏輯分離指南

    Python編程進階代碼邏輯分離指南

    在?Python?編程中,適當?shù)拇a邏輯分離可以幫助降低復雜度、提高可讀性,減少大量的?if-else?結構,本文將深入探討如何使用不同方法來改進代碼結構,降低對?if-else?結構的依賴
    2023-12-12
  • python3.6.3轉化為win-exe文件發(fā)布的方法

    python3.6.3轉化為win-exe文件發(fā)布的方法

    今天小編就為大家分享一篇python3.6.3轉化為win-exe文件發(fā)布的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-10-10
  • python淺析守護線程與非守護線程的區(qū)別與使用

    python淺析守護線程與非守護線程的區(qū)別與使用

    守護線程,又稱后臺線程,它是在后臺運行的,如果所有前臺線程都死亡,那么后臺線程就會自動死亡,本章我們來了解守護線程與非守護線程,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習吧
    2022-08-08
  • Python os模塊介紹

    Python os模塊介紹

    這篇文章主要介紹了Python os模塊介紹,需要的朋友可以參考下
    2014-11-11

最新評論

肥西县| 云龙县| 进贤县| 会同县| 乌拉特前旗| 宝清县| 延安市| 紫金县| 固原市| 兴山县| 顺平县| 桂东县| 长宁县| 镇江市| 磐石市| 扎囊县| 灵丘县| 恩平市| 台南市| 封丘县| 郯城县| 塔河县| 墨玉县| 白城市| 车致| 汶川县| 宝鸡市| 天台县| 四会市| 广灵县| 城步| 桃园县| 三亚市| 宕昌县| 科技| 鄢陵县| 盐边县| 漳州市| 修文县| 来凤县| 佳木斯市|