最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python GIL(全局解釋器鎖)的使用小結(jié)

 更新時(shí)間:2025年11月24日 09:21:02   作者:唐古烏梁海  
本文主要介紹了Python GIL(全局解釋器鎖)的使用小結(jié),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

我們通常所說(shuō)的GIL,指的是全局解釋器鎖(Global Interpreter Lock),是計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言解釋器用于同步線程的一種機(jī)制,它使得任何時(shí)刻僅有一個(gè)線程在執(zhí)行。即使在多核處理器上,使用 GIL 的解釋器也只允許同一時(shí)間執(zhí)行一個(gè)線程。

在Python中,GIL的存在主要是為了簡(jiǎn)化CPython解釋器的實(shí)現(xiàn),因?yàn)镃Python的內(nèi)存管理不是線程安全的。GIL可以防止并發(fā)訪問(wèn)Python對(duì)象,從而避免多個(gè)線程同時(shí)修改同一個(gè)對(duì)象導(dǎo)致的數(shù)據(jù)不一致問(wèn)題。

但是,GIL也導(dǎo)致了一個(gè)問(wèn)題:在多核CPU上,使用多線程的Python程序并不能真正地并行執(zhí)行,而是通過(guò)交替執(zhí)行來(lái)模擬并發(fā)。因此,對(duì)于CPU密集型的任務(wù),使用多線程并不能提高性能,甚至可能因?yàn)榫€程切換的開銷而降低性能。

然而,對(duì)于I/O密集型的任務(wù)(如網(wǎng)絡(luò)請(qǐng)求、文件讀寫等),由于線程在等待I/O時(shí)會(huì)被阻塞,此時(shí)GIL會(huì)被釋放,從而允許其他線程運(yùn)行,因此多線程在I/O密集型任務(wù)中仍然可以提升性能。

為了克服GIL的限制,可以采用多進(jìn)程(使用multiprocessing模塊)來(lái)利用多核CPU,因?yàn)槊總€(gè)進(jìn)程有自己獨(dú)立的Python解釋器和內(nèi)存空間,因此每個(gè)進(jìn)程都有自己的GIL,從而可以實(shí)現(xiàn)真正的并行。

什么是 GIL?

GIL(Global Interpreter Lock) 是 CPython 解釋器中的一個(gè)互斥鎖,它確保在任何時(shí)刻只有一個(gè)線程在執(zhí)行 Python 字節(jié)碼。這意味著即使在多核 CPU 上,CPython 也無(wú)法實(shí)現(xiàn)真正的并行線程執(zhí)行。

GIL 的工作原理

+-----------------------------------------------+
|              Python 進(jìn)程 (單個(gè)進(jìn)程)            |
|                                               |
|  +-----------------------------------------+  |
|  |          全局解釋器鎖 (GIL)              |  |
|  |                                         |  |
|  |      ?? 一把鎖,控制 Python 字節(jié)碼執(zhí)行    |  |
|  +-----------------------------------------+  |
|                    ↑                          |
|                    | (獲取/釋放)              |
|                    |                          |
|  +------------+  +------------+  +------------+|
|  |  線程 1    |  |  線程 2    |  |  線程 3    ||
|  |            |  |            |  |            ||
|  | Python代碼 |  | Python代碼 |  | Python代碼 ||
|  |  執(zhí)行中    |  |  等待中    |  |  等待中    ||
|  +------------+  +------------+  +------------+|
|                                               |
+-----------------------------------------------+

關(guān)鍵點(diǎn):

  • ?? GIL 是進(jìn)程級(jí)別的鎖,不是線程級(jí)別的
  • ?? 同一時(shí)間只有一個(gè)線程能持有 GIL 并執(zhí)行 Python 字節(jié)碼
  • ? 其他線程必須等待 GIL 被釋放
import threading
import time

def count_down(n):
    while n > 0:
        n -= 1

# 單線程執(zhí)行
start = time.time()
count_down(100000000)
single_time = time.time() - start

# 多線程執(zhí)行
start = time.time()
t1 = threading.Thread(target=count_down, args=(50000000,))
t2 = threading.Thread(target=count_down, args=(50000000,))
t1.start()
t2.start()
t1.join()
t2.join()
multi_time = time.time() - start

print(f"單線程執(zhí)行時(shí)間: {single_time:.2f}秒")
print(f"雙線程執(zhí)行時(shí)間: {multi_time:.2f}秒")
# 你會(huì)發(fā)現(xiàn)多線程可能比單線程更慢!

為什么需要 GIL?

1. 簡(jiǎn)化內(nèi)存管理

Python 使用引用計(jì)數(shù)進(jìn)行內(nèi)存管理:

import sys

a = []
print(sys.getrefcount(a))  # 查看對(duì)象的引用計(jì)數(shù)

b = a
print(sys.getrefcount(a))  # 引用計(jì)數(shù)增加

沒有 GIL 時(shí),多個(gè)線程同時(shí)修改引用計(jì)數(shù)會(huì)導(dǎo)致競(jìng)爭(zhēng)條件:

# 偽代碼演示競(jìng)爭(zhēng)條件
# 線程1: obj.ref_count += 1
# 線程2: obj.ref_count -= 1
# 如果沒有同步機(jī)制,ref_count 可能出錯(cuò)

2. 保護(hù)內(nèi)部數(shù)據(jù)結(jié)構(gòu)

Python 的很多內(nèi)部數(shù)據(jù)結(jié)構(gòu)(如 list、dict)不是線程安全的。

GIL 的影響

CPU 密集型任務(wù)

import threading
import time

def cpu_intensive_task():
    result = 0
    for i in range(10**7):
        result += i * i
    return result

# 測(cè)試多線程性能
def test_multithreading():
    threads = []
    start_time = time.time()
    
    for _ in range(4):
        t = threading.Thread(target=cpu_intensive_task)
        threads.append(t)
        t.start()
    
    for t in threads:
        t.join()
    
    print(f"多線程執(zhí)行時(shí)間: {time.time() - start_time:.2f}秒")

# 對(duì)比多進(jìn)程
import multiprocessing

def test_multiprocessing():
    processes = []
    start_time = time.time()
    
    for _ in range(4):
        p = multiprocessing.Process(target=cpu_intensive_task)
        processes.append(p)
        p.start()
    
    for p in processes:
        p.join()
    
    print(f"多進(jìn)程執(zhí)行時(shí)間: {time.time() - start_time:.2f}秒")

# 運(yùn)行測(cè)試
if __name__ == "__main__":
    test_multithreading()  # 可能比單線程還慢
    test_multiprocessing()  # 真正的并行,速度更快

I/O 密集型任務(wù)

import threading
import time
import requests

def download_site(url, session):
    with session.get(url) as response:
        print(f"Read {len(response.content)} from {url}")

def download_all_sites(sites):
    with requests.Session() as session:
        # 單線程
        start_time = time.time()
        for url in sites:
            download_site(url, session)
        print(f"單線程下載時(shí)間: {time.time() - start_time:.2f}秒")
        
        # 多線程
        start_time = time.time()
        threads = []
        for url in sites:
            thread = threading.Thread(target=download_site, args=(url, session))
            thread.start()
            threads.append(thread)
        
        for thread in threads:
            thread.join()
        print(f"多線程下載時(shí)間: {time.time() - start_time:.2f}秒")

# I/O 密集型任務(wù)中,多線程有明顯優(yōu)勢(shì)

如何繞過(guò) GIL 的限制

1. 使用多進(jìn)程

from multiprocessing import Pool, cpu_count
import math

def is_prime(n):
    if n < 2:
        return False
    for i in range(2, int(math.sqrt(n)) + 1):
        if n % i == 0:
            return False
    return True

def find_primes_parallel(numbers):
    with Pool(processes=cpu_count()) as pool:
        results = pool.map(is_prime, numbers)
    return results

numbers = range(1000000, 1010000)
primes = find_primes_parallel(numbers)
+------------------------+
|   主進(jìn)程 (協(xié)調(diào)者)       |
+------------------------+
          |
    +-----+-----+
    |           |
    v           v
+-------+   +-------+
| 進(jìn)程1 |   | 進(jìn)程2 |
|       |   |       |
|  ??GIL |   |  ??GIL |  ← 每個(gè)進(jìn)程有獨(dú)立的GIL
+-------+   +-------+

2. 使用 C 擴(kuò)展

// primes.c
#include <Python.h>

static PyObject* find_primes_c(PyObject* self, PyObject* args) {
    Py_BEGIN_ALLOW_THREADS  // 釋放 GIL
    // 執(zhí)行計(jì)算密集型任務(wù)
    Py_END_ALLOW_THREADS    // 重新獲取 GIL
    return Py_BuildValue("i", result);
}
+-----------------------+
|   Python 線程         |
+-----------------------+
          |
          v
+-----------------------+
|   釋放 GIL 的 C 擴(kuò)展   | ← 在C代碼中手動(dòng)釋放GIL
+-----------------------+
          |
          v
+-----------------------+
|   并行計(jì)算 (無(wú)GIL限制)  |
+-----------------------+

3. 使用其他 Python 實(shí)現(xiàn)

  • Jython: 基于 JVM,沒有 GIL
  • IronPython: 基于 .NET,沒有 GIL
  • PyPy: 有 GIL,但性能更好
+----------------+----------------+----------------+
|   CPython      |   Jython       |   IronPython   |
|   (有GIL)       |   (無(wú)GIL)      |   (無(wú)GIL)      |
+----------------+----------------+----------------+

4. 使用異步編程

import asyncio
import aiohttp

async def download_site_async(session, url):
    async with session.get(url) as response:
        content = await response.read()
        print(f"Read {len(content)} from {url}")

async def download_all_sites_async(sites):
    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in sites:
            task = asyncio.create_task(download_site_async(session, url))
            tasks.append(task)
        await asyncio.gather(*tasks)

# 運(yùn)行異步任務(wù)
asyncio.run(download_all_sites_async(sites))

GIL 的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)

  • 簡(jiǎn)化 CPython 實(shí)現(xiàn)
  • 使單線程程序更快(無(wú)鎖開銷)
  • 更容易集成非線程安全的 C 擴(kuò)展

缺點(diǎn)

  • 限制多核 CPU 的利用率
  • 對(duì) CPU 密集型多線程程序不友好
  • 可能造成性能誤解

實(shí)際開發(fā)建議

# 根據(jù)任務(wù)類型選擇方案:

def choose_concurrency_method(task_type, data):
    if task_type == "cpu_intensive":
        # 使用多進(jìn)程
        with multiprocessing.Pool() as pool:
            return pool.map(process_data, data)
    
    elif task_type == "io_intensive":
        # 使用多線程或異步
        with ThreadPoolExecutor() as executor:
            return list(executor.map(process_data, data))
    
    elif task_type == "mixed":
        # 混合方案:進(jìn)程池 + 線程池
        pass

未來(lái)展望

Python 社區(qū)正在探索移除 GIL 的方案:

  • nogil 分支:嘗試移除 GIL 的實(shí)驗(yàn)性版本
  • subinterpreters:通過(guò)多個(gè)解釋器實(shí)例實(shí)現(xiàn)真正的并行

總結(jié)

GIL 是 CPython 的歷史遺留問(wèn)題,它:

  • 主要影響 CPU 密集型多線程程序
  • 對(duì) I/O 密集型任務(wù)影響較小
  • 可以通過(guò)多進(jìn)程、C 擴(kuò)展、異步編程等方式繞過(guò)

到此這篇關(guān)于Python GIL(全局解釋器鎖)的使用小結(jié)的文章就介紹到這了,更多相關(guān)Python GIL全局解釋器鎖內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python  pandas中的shift位移操作方法

    Python  pandas中的shift位移操作方法

    shift()?函數(shù)是?Pandas?中用于移動(dòng)或偏移數(shù)據(jù)的重要工具,它可以處理時(shí)間序列數(shù)據(jù)、計(jì)算數(shù)據(jù)差值以及進(jìn)行數(shù)據(jù)預(yù)處理,本文介紹Python  pandas中的shift位移操作方法,感興趣的朋友跟隨小編一起看看吧
    2024-03-03
  • 深入了解python中的常見錯(cuò)誤類型與解決

    深入了解python中的常見錯(cuò)誤類型與解決

    在Python編程過(guò)程中,經(jīng)常會(huì)遇到各種錯(cuò)誤,了解這些錯(cuò)誤的類型以及如何處理它們是成為一位優(yōu)秀的Python開發(fā)者所必備的技能之一,下面就跟隨小編一起學(xué)習(xí)一下python中的常見錯(cuò)誤類型吧
    2023-11-11
  • python制作簡(jiǎn)單五子棋游戲

    python制作簡(jiǎn)單五子棋游戲

    這篇文章主要為大家詳細(xì)介紹了python制作簡(jiǎn)單五子棋游戲,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-06-06
  • pytorch 計(jì)算ConvTranspose1d輸出特征大小方式

    pytorch 計(jì)算ConvTranspose1d輸出特征大小方式

    這篇文章主要介紹了pytorch 計(jì)算ConvTranspose1d輸出特征大小方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-06-06
  • Python使用tarfile模塊實(shí)現(xiàn)免費(fèi)壓縮解壓

    Python使用tarfile模塊實(shí)現(xiàn)免費(fèi)壓縮解壓

    Python自帶的tarfile模塊可以方便讀取tar歸檔文件,厲害的是可以處理使用gzip和bz2壓縮歸檔文件tar.gz和tar.bz2,這篇文章主要介紹了Python使用tarfile模塊實(shí)現(xiàn)免費(fèi)壓縮解壓,需要的朋友可以參考下
    2024-03-03
  • python實(shí)現(xiàn)哈希表

    python實(shí)現(xiàn)哈希表

    介紹一個(gè)用python實(shí)現(xiàn)的哈希表,處理沖突的方法是開放地址法,沖突表達(dá)式為Hi=(H(key)+1)mod m,m為表長(zhǎng)。遲點(diǎn)再實(shí)現(xiàn)更難的拉鏈法
    2014-02-02
  • pytorch中index_select()的用法詳解

    pytorch中index_select()的用法詳解

    這篇文章主要介紹了pytorch中index_select()的用法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01
  • Python 相對(duì)路徑報(bào)錯(cuò):"No such file or directory"'原因及解決方法

    Python 相對(duì)路徑報(bào)錯(cuò):"No such file or 

    如果你取相對(duì)路徑不是在主文件里,可能就會(huì)有相對(duì)路徑問(wèn)題:"No such file or directory",由于python 的相對(duì)路徑,相對(duì)的都是主文件所以會(huì)出現(xiàn)Python 相對(duì)路徑報(bào)錯(cuò),今天小編給大家?guī)?lái)了完美解決方案,感興趣的朋友一起看看吧
    2023-02-02
  • Python 中使用 Selenium 單擊網(wǎng)頁(yè)按鈕功能

    Python 中使用 Selenium 單擊網(wǎng)頁(yè)按鈕功能

    Selenium是一個(gè)用于測(cè)試網(wǎng)站的自動(dòng)化測(cè)試工具,支持各種瀏覽器包括Chrome、Firefox、Safari等主流界面瀏覽器,同時(shí)也支持phantomJS無(wú)界面瀏覽器,本篇文章將介紹如何在 Python 中使用 selenium 單擊網(wǎng)頁(yè)上的按鈕,感興趣的朋友一起看看吧
    2023-11-11
  • Python列表切片常用操作實(shí)例解析

    Python列表切片常用操作實(shí)例解析

    這篇文章主要介紹了Python列表切片常用操作實(shí)例解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-12-12

最新評(píng)論

六枝特区| 五华县| 马龙县| 黑山县| 连州市| 内江市| 山丹县| 邵东县| 正蓝旗| 博湖县| 湟中县| 子长县| 易门县| 阜南县| 鹿泉市| 扶绥县| 万宁市| 乡宁县| 天柱县| 措勤县| 耒阳市| 蛟河市| 阜新| 汉阴县| 皮山县| 宁河县| 若尔盖县| 广德县| 大城县| 萨嘎县| 渑池县| 道真| 英山县| 曲周县| 石首市| 凌源市| 盱眙县| 长寿区| 香格里拉县| 额济纳旗| 马山县|