Python numpy大矩陣運(yùn)算內(nèi)存不足如何解決
更新時(shí)間：2020年11月19日 08:33:58 作者：Gelthin
這篇文章主要介紹了Python numpy大矩陣運(yùn)算內(nèi)存不足如何解決,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
程序運(yùn)行，產(chǎn)生如下結(jié)果，然后進(jìn)程終止，導(dǎo)致這一結(jié)果的原因很有可能是內(nèi)存爆炸。
當(dāng)兩個(gè)較大的 (e.g., 10000*10000 維）ndarray 做運(yùn)算(加法，or 乘法）時(shí)，很容易出現(xiàn)這樣的結(jié)果.
解決辦法：
- 大多數(shù)情況下，這種大矩陣都是稀疏的。盡可能地利用稀疏計(jì)算的方式，例如稀疏矩陣，或者只計(jì)算非 0 位置的值。
- 如果都是整數(shù)運(yùn)算，可以設(shè)置 dtype=int，而非 dtype=float, 可以省下不少空間。
linux 系統(tǒng)下，使用 top 命令，可以很容易地看到內(nèi)存（%MEM) 的使用情況。
# 代碼段 1， true_similarity_matrix 是 int, similarity_matrix 是 float
tmp_matrix = similarity_matrix * true_similarity_matrix # 內(nèi)存會(huì)炸掉，兩個(gè) 10000*10000 維 float array
num_correct_edge = sum(sum(tmp_matrix))
# 代碼段 2
for i in range():
for j in range():
set_true_ij.append(i,j)
num_correct_edge = 0
for i, j in set_true_ij:
num_correct_edge += similarity_matrix[i,j]
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Pycharm及python安裝詳細(xì)步驟及PyCharm配置整理(推薦)
這篇文章主要介紹了Pycharm及python安裝詳細(xì)步驟以及PyCharm配置整理,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-04-04
Python函數(shù)使用的相關(guān)練習(xí)題分享
這篇文章主要介紹了Python函數(shù)使用的相關(guān)練習(xí)題分享，文章基于python函數(shù)內(nèi)容展開其相關(guān)例題，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-05-05
Tensorflow2.1 MNIST圖像分類實(shí)現(xiàn)思路分析
這篇文章主要為大家介紹了Tensorflow2.1 MNIST圖像分類實(shí)現(xiàn)思路分析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11
Django 自定義分頁(yè)器的實(shí)現(xiàn)代碼
這篇文章主要介紹了Django 自定義分頁(yè)器的實(shí)現(xiàn)代碼，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
Python裝飾器實(shí)現(xiàn)方法及應(yīng)用場(chǎng)景詳解
這篇文章主要介紹了Python裝飾器實(shí)現(xiàn)方法及應(yīng)用場(chǎng)景詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-03-03
python 19個(gè)值得學(xué)習(xí)的編程技巧
這篇文章主要介紹了python 19個(gè)值得學(xué)習(xí)的編程技巧，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-08-08
使用Python通過win32 COM打開Excel并添加Sheet的方法
今天小編就為大家分享一篇使用Python通過win32 COM打開Excel并添加Sheet的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
Opencv 圖片的OCR識(shí)別的實(shí)戰(zhàn)示例
這篇文章主要介紹了Opencv 圖片的OCR識(shí)別，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
Python利用matplotlib繪制圓環(huán)圖(環(huán)形圖)的實(shí)戰(zhàn)案例
環(huán)形圖也被稱為圓環(huán)圖,它在功能上與餅圖相同,只是中間有一個(gè)空白,并且能夠同時(shí)支持多個(gè)統(tǒng)計(jì)數(shù)據(jù),下面這篇文章主要給大家介紹了關(guān)于Python利用matplotlib繪制圓環(huán)圖的實(shí)戰(zhàn)案例,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-08-08
這篇文章主要介紹了Python對(duì)列表排序的方法,實(shí)例分析了Python列表排序函數(shù)的相關(guān)使用技巧,非常簡(jiǎn)單實(shí)用,需要的朋友可以參考下2015-05-05