Python多進程使用及進程池詳解

更新時間：2023年06月22日 10:37:36 作者：子午

這篇文章主要為大家介紹了Python多進程使用及進程池詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

一、什么是進程？

Python除了支持多線程，還支持多進程。相比于多線程，多進程可以充分利用多核CPU的計算能力，實現(xiàn)真正的并行計算。在本文中，我們將介紹Python中的多進程，以及如何使用Python的multiprocessing模塊創(chuàng)建和管理進程。

進程是操作系統(tǒng)分配資源的基本單位。每個進程都有自己的內存空間，這意味著進程之間的變量是隔離的，一個進程無法訪問另一個進程的變量。

二、Python中的進程

在Python中，我們可以使用multiprocessing模塊創(chuàng)建和管理進程。以下是一個創(chuàng)建進程的例子：

from multiprocessing import Process
def print_numbers():
    for i in range(10):
        print(i)
def print_letters():
    for letter in 'abcdefghij':
        print(letter)
process1 = Process(target=print_numbers)
process2 = Process(target=print_letters)
process1.start()
process2.start()
process1.join()
process2.join()

在這個例子中，我們創(chuàng)建了兩個進程：process1和process2。process1的任務是打印數(shù)字0到9，process2的任務是打印字母'a'到'j'。

我們使用multiprocessing.Process類創(chuàng)建了兩個進程對象，并指定了每個進程的目標函數(shù)。然后，我們調用了start方法來啟動進程。

join方法用于等待進程結束。這是阻塞調用，也就是說，調用join方法的進程（在這個例子中是主進程）會被阻塞，直到被調用join方法的進程（在這個例子中是process1和process2）結束。

三、進程間通信

由于進程之間的內存是隔離的，所以進程之間不能直接通信。Python的multiprocessing模塊提供了多種進程間通信的工具，包括管道（Pipe）、隊列（Queue）等。以下是一個使用隊列進行進程間通信的例子：

from multiprocessing import Process, Queue
def worker(q):
    q.put('Hello, world!')
def main():
    q = Queue()
    p = Process(target=worker, args=(q,))
    p.start()
    print(q.get())
    p.join()
if __name__ == '__main__':
    main()

在這個例子中，我們創(chuàng)建了一個子進程，該子進程向隊列中添加了一個消息。主進程從隊列中獲取了這個消息，并打印了它。通過隊列，我們實現(xiàn)了進程間的通信。

四、進程同步

和線程一樣，進程也可能需要同步。Python的multiprocessing模塊提供了多種進程同步的工具，包括鎖（Lock）、信號量（Semaphore）等。

五、Python中的進程池

在Python中，我們可以使用multiprocessing.Pool類創(chuàng)建一個進程池。進程池中的進程數(shù)量是固定的，當有新的任務提交到進程池時，如果進程池中有空閑的進程，那么這個進程就會被分配到這個任務。如果所有的進程都在忙，那么這個任務就會等待，直到有進程變成空閑狀態(tài)。以下是一個使用進程池的例子：

pythonCopy code
from multiprocessing import Pool
def square(x):
    return x * x
if __name__ == '__main__':
    with Pool(5) as p:
        print(p.map(square, [1, 2, 3, 4, 5]))

在這個例子中，我們創(chuàng)建了一個包含5個進程的進程池。然后，我們使用map方法提交了一組任務到進程池。這組任務是計算一組數(shù)字的平方。map方法會自動分配這些任務到進程池中的進程。