快捷導(dǎo)航

通過numba模塊給Python代碼提速的方法詳解

更新時間：2022年01月13日 10:42:58 作者：三爺帶你飛

numba是Anaconda公司開發(fā)的針對Python的開源JIT編譯器，用于提供Python版CPU和GPU編程，速度比原生Python快數(shù)十倍。本文將詳細介紹一下numba是如何實現(xiàn)代碼提速的，需要的可以參考一下

簡介：numba是Anaconda公司開發(fā)的針對Python的開源JIT編譯器，用于提供Python版CPU和GPU編程，速度比原生Python快數(shù)十倍。numba是第三方庫，可以在運行時將Python代碼編譯為本地機器指令，而不會強制大幅度的改變普通的Python代碼，使得在部分場景下執(zhí)行Python的效率得到飛速的提升。

工作原理對比：

Python文件執(zhí)行過程

1、.py文件通過解釋器轉(zhuǎn)化為虛擬機可以執(zhí)行的字節(jié)碼(.pyc)；字節(jié)碼在虛擬機上執(zhí)行，得到結(jié)果。

2、字節(jié)碼是一種只能運行在虛擬機上的文件，默認后綴.pyc，Python生成.pyc之后一般放在內(nèi)存中繼續(xù)使用，并不是每次都將.pyc文件保存到磁盤上。

而在JIT（Just-In-Time）技術(shù)中，JIT編譯器將Python源代碼.py直接編譯成機器可以執(zhí)行的機器語言（機器碼），就可以直接在CPU等硬件上運行。這樣，JIT就跳過了原來的虛擬機，執(zhí)行速度幾乎與用C語言編程速度無差別。

numba是Anaconda公司開發(fā)的針對Python的開源JIT編譯器。谷歌開源的jax庫也是屬于jit編譯器之一，該模塊則主要應(yīng)用于科學(xué)計算和機器學(xué)習(xí)方向。

安裝：如網(wǎng)絡(luò)限制，請繞道國內(nèi)鏡像豆瓣源，清華源等。pip安裝第三方庫全攻略：普通安裝、安裝whl后綴文件、使用國內(nèi)鏡像安裝

pip install numba

使用方法：

from numba import jit
對函數(shù)進行裝飾@jit(nopython=True)

注意事項：numba只符合部分場景，特殊場景無法使用。例如機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)時，不能簡單的進行裝飾使用，否則會拋出異常。

源碼：

from numba import jit
import datetime


def calc_sum1(loop):
? ? n = 0
? ? for i in range(loop):
? ? ? ? for j in range(loop):
? ? ? ? ? ? n += j
? ? return n


@jit(nopython=True)
def calc_sum2(loop):
? ? n = 0
? ? for i in range(loop):
? ? ? ? for j in range(loop):
? ? ? ? ? ? n += j
? ? return n


@jit(nopython=True)
def calc_sum2(loop):
? ? n = 0
? ? for i in range(loop):
? ? ? ? for j in range(loop):
? ? ? ? ? ? n += j
? ? return n


if __name__ == '__main__':
? ? print(datetime.datetime.now())
? ? r1 = calc_sum1(10000)
? ? print(r1)
? ? print(datetime.datetime.now())

? ? print("*" * 30)
? ? print(datetime.datetime.now())
? ? r2 = calc_sum2(10000)
? ? print(r2)
? ? print(datetime.datetime.now())

結(jié)果對比：原始代碼執(zhí)行需要花費5秒左右，而使用numba裝飾后僅需300毫秒左右，提升10倍有余。如果loop設(shè)置的參數(shù)更長，numba裝飾后執(zhí)行的結(jié)果更佳。