最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python控制多進程與多線程并發(fā)數(shù)總結(jié)

 更新時間:2016年10月26日 10:39:53   作者:張豪飛  
本篇文章主要介紹了Python控制多進程與多線程并發(fā)數(shù),詳細講訴了進程和線程的區(qū)別,并介紹了處理方法,有需要的朋友可以了解一下。

一、前言

本來寫了腳本用于暴力破解密碼,可是1秒鐘嘗試一個密碼2220000個密碼我的天,想用多線程可是只會一個for全開,難道開2220000個線程嗎?只好學(xué)習(xí)控制線程數(shù)了,官方文檔不好看,覺得結(jié)構(gòu)不夠清晰,網(wǎng)上找很多文章也都不很清晰,只有for全開線程,沒有控制線程數(shù)的具體說明,最終終于根據(jù)多篇文章和官方文檔算是搞明白基礎(chǔ)的多線程怎么實現(xiàn)法了,怕長時間不用又忘記,找著麻煩就貼這了,跟我一樣新手也可以參照參照。

先說進程和線程的區(qū)別:

  1. 地址空間:進程內(nèi)的一個執(zhí)行單元;進程至少有一個線程;它們共享進程的地址空間;而進程有自己獨立的地址空間;
  2. 資源擁有:進程是資源分配和擁有的單位,同一個進程內(nèi)的線程共享進程的資源
  3. 線程是處理器調(diào)度的基本單位,但進程不是.
  4. 二者均可并發(fā)執(zhí)行.

不能理解的話簡單打比方就是一個進程就像一個程序一樣,并發(fā)互不干擾。一個進程靠一個或多個線程執(zhí)行處理,并發(fā)的線程是cpu在不停的來回切換執(zhí)行,當(dāng)然是快到你感覺不出的。

拿上面我遇到的困難來說吧,大量的數(shù)據(jù)需要執(zhí)行相同的處理,一個操作中間可能會有一些等待時間,一個一個執(zhí)行浪費大量時間,那么就同時執(zhí)行吧,我們可以用兩種并行辦法:

進程并行或者線程并行

各有優(yōu)缺點,要看情況,不是絕對的,在此不討論這個,這引出下面兩種Python并行處理方法(注釋感覺很清晰詳細了,不再多說)

二、進程處理方法

#coding:utf-8
import random
from time import sleep
import sys
import multiprocessing
import os
#
#需求分析:有大批量數(shù)據(jù)需要執(zhí)行,而且是重復(fù)一個函數(shù)操作(例如爆破密碼),如果全部開始線程數(shù)N多,這里控制住線程數(shù)m個并行執(zhí)行,其他等待
#
lock=multiprocessing.Lock()#一個鎖
def a(x):#模擬需要重復(fù)執(zhí)行的函數(shù)
  lock.acquire()#輸出時候上鎖,否則進程同時輸出時候會混亂,不可讀
  print '開始進程:',os.getpid(),'模擬進程時間:',x
  lock.release()
  
  sleep(x)#模擬執(zhí)行操作
  
  lock.acquire()
  print '結(jié)束進程:',os.getpid(),'預(yù)測下一個進程啟動會使用該進程號'
  lock.release()
list=[]
for i in range(10):#產(chǎn)生一個隨機數(shù)數(shù)組,模擬每次調(diào)用函數(shù)需要的輸入,這里模擬總共有10組需要處理
  list.append(random.randint(1,10))
  
pool=multiprocessing.Pool(processes=3)#限制并行進程數(shù)為3
pool.map(a,list)#創(chuàng)建進程池,調(diào)用函數(shù)a,傳入?yún)?shù)為list,此參數(shù)必須是一個可迭代對象,因為map是在迭代創(chuàng)建每個進程

輸出:

三、線程處理方法:

#coding:utf-8
import threading
import random
import Queue
from time import sleep
import sys
#
#需求分析:有大批量數(shù)據(jù)需要執(zhí)行,而且是重復(fù)一個函數(shù)操作(例如爆破密碼),如果全部開始線程數(shù)N多,這里控制住線程數(shù)m個并行執(zhí)行,其他等待
#
#繼承一個Thread類,在run方法中進行需要重復(fù)的單個函數(shù)操作
class Test(threading.Thread):
  def __init__(self,queue,lock,num):
    #傳遞一個隊列queue和線程鎖,并行數(shù)
    threading.Thread.__init__(self)
    self.queue=queue
    self.lock=lock
    self.num=num
  def run(self):
    #while True:#不使用threading.Semaphore,直接開始所有線程,程序執(zhí)行完畢線程都還不死,最后的print threading.enumerate()可以看出
    with self.num:#同時并行指定的線程數(shù)量,執(zhí)行完畢一個則死掉一個線程
      #以下為需要重復(fù)的單次函數(shù)操作
      n=self.queue.get()#等待隊列進入
      lock.acquire()#鎖住線程,防止同時輸出造成混亂
      print '開始一個線程:',self.name,'模擬的執(zhí)行時間:',n
      print '隊列剩余:',queue.qsize()
      print threading.enumerate()
      lock.release()
      sleep(n)#執(zhí)行單次操作,這里sleep模擬執(zhí)行過程
      self.queue.task_done()#發(fā)出此隊列完成信號
threads=[]
queue=Queue.Queue()
lock=threading.Lock()
num=threading.Semaphore(3)#設(shè)置同時執(zhí)行的線程數(shù)為3,其他等待執(zhí)行
#啟動所有線程
for i in range(10):#總共需要執(zhí)行的次數(shù)
  t=Test(queue,lock,num)
  t.start()
  threads.append(t)
  #吧隊列傳入線程,是run結(jié)束等待開始執(zhí)行,放下面單獨一個for也行,這里少個循環(huán)吧
  n=random.randint(1,10)
  queue.put(n)#模擬執(zhí)行函數(shù)的逐個不同輸入
#吧隊列傳入線程,是run結(jié)束等待開始執(zhí)行
#for t in threads:
#  n=random.randint(1,10)
#  queue.put(n)
#等待線程執(zhí)行完畢
for t in threads:
  t.join()
queue.join()#等待隊列執(zhí)行完畢才繼續(xù)執(zhí)行,否則下面語句會在線程未接受就開始執(zhí)行
print '所有執(zhí)行完畢'
print threading.active_count()
print threading.enumerate()

輸出:

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python之NumPy(axis=0 與axis=1)區(qū)分詳解

    Python之NumPy(axis=0 與axis=1)區(qū)分詳解

    這篇文章主要介紹了Python之NumPy(axis=0 與axis=1)區(qū)分詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-05-05
  • 詳解JavaScript編程中的window與window.screen對象

    詳解JavaScript編程中的window與window.screen對象

    這篇文章主要介紹了JavaScript編程中的window與window.screen對象,是JS在瀏覽器中視圖編程的基礎(chǔ),需要的朋友可以參考下
    2015-10-10
  • Python實例之wxpython中Frame使用方法

    Python實例之wxpython中Frame使用方法

    本文介紹下wxpython中Frame的用法,不錯的python編程實例,有需要的朋友參考下
    2014-06-06
  • Django+Ajax異步刷新/定時自動刷新實例詳解

    Django+Ajax異步刷新/定時自動刷新實例詳解

    AJAX是前端技術(shù)的集合,包括JavaScript、XML、HTML、CSS等,下面這篇文章主要給大家介紹了關(guān)于Django+Ajax異步刷新/定時自動刷新的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-10-10
  • Python中元組的概念及應(yīng)用小結(jié)

    Python中元組的概念及應(yīng)用小結(jié)

    Python中的元組和列表很相似,元組也是Python語言提供的內(nèi)置數(shù)據(jù)結(jié)構(gòu)之一,可以在代碼中直接使用,這篇文章主要介紹了Python中元組的概念以及應(yīng)用,需要的朋友可以參考下
    2023-01-01
  • Python中requests庫的基本概念與具體使用方法

    Python中requests庫的基本概念與具體使用方法

    requests庫是用python編寫的基于urllib,requests唯一的一個非轉(zhuǎn)基因的Python HTTP庫,下面這篇文章主要給大家介紹了關(guān)于Python中requests庫的基本概念與具體使用方法,需要的朋友可以參考下
    2022-08-08
  • 最新評論

    盐边县| 密云县| 全椒县| 湾仔区| 会理县| 乌审旗| 偃师市| 康定县| 高邑县| 麻城市| 广河县| 濮阳县| 延津县| 铜梁县| 济源市| 汶上县| 苍梧县| 会东县| 墨竹工卡县| 富蕴县| 淮安市| 抚宁县| 饶河县| 疏勒县| 剑阁县| 将乐县| 澳门| 陆良县| 铜山县| 保德县| 日喀则市| 凌云县| 海淀区| 红原县| 三江| 广东省| 崇文区| 博罗县| 平山县| 德安县| 化州市|