Pytorch實現(xiàn)tensor序列化和并行化的示例詳解
更新時間：2023年12月08日 11:27:28 作者：怎么開心怎么玩
這篇文章主要介紹了Pytorch實現(xiàn)tensor序列化和并行化,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,感興趣的同學(xué)們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
Pytorch 實現(xiàn) tensor 序列化和反序列化
序列化 Serialization
保存一個對象到一個硬盤文件上
torch.save(obj, f, pickle_mode, pickle_protocol)
參數(shù)：
- obj – 保存對象
- f - 類文件對象 (返回文件描述符)或一個保存文件名的字符串
- pickle_module – 用于 pickling 元數(shù)據(jù)和對象的模塊
- pickle_protocol – 指定 pickle protocal 可以覆蓋默認參數(shù)
從磁盤文件中讀取一個通過 torch.save()保存的對象
torch.load(f, map_location=None, pickle_mode)
torch.load() 可通過參數(shù) map_location 動態(tài)地進行內(nèi)存重映射，使其能從不動設(shè)備中讀取文件。一般調(diào)用時，需兩個參數(shù): storage 和 location tag。 返回不同地址中的 storage，或著返回 None (此時地址可以通過默認方法進行解析)。 如果這個參數(shù)是字典的話，意味著其是從文件的地址標記到當(dāng)前系統(tǒng)的地址標記的映射。 默認情況下，location tags 中 "cpu"對應(yīng) host tensors,‘cuda:device_id’ (e.g.‘cuda:2’) 對應(yīng) cuda tensors。 用戶可以通過 register_package 進行擴展，使用自己定義的標記和反序列化方法。
- f – 類文件對象 (返回文件描述符)或一個保存文件名的字符串
- map_location – 一個函數(shù)或字典規(guī)定如何 remap 存儲位置
- pickle_module – 用于 unpickling 元數(shù)據(jù)和對象的模塊 (必須匹配序列化文件時的 pickle_module )
并行化 Parallelism
torch.get_num_threads torch.get_num_threads() → int #獲得用于并行化 CPU 操作的 OpenMP 線程數(shù) torch.set_num_threads torch.set_num_threads(int) #設(shè)定用于并行化 CPU 操作的 OpenMP 線程數(shù)
以上就是Pytorch實現(xiàn)tensor序列化和并行化的示例詳解的詳細內(nèi)容，更多關(guān)于Pytorch tensor序列化和并行化的資料請關(guān)注腳本之家其它相關(guān)文章！
您可能感興趣的文章:
- 使用PyTorch/TensorFlow搭建簡單全連接神經(jīng)網(wǎng)絡(luò)
- PyTorch使用教程之Tensor包詳解
- 最新tensorflow與pytorch環(huán)境搭建的實現(xiàn)步驟
- pytorch?tensor合并與分割方式
- PyTorch?TensorFlow機器學(xué)習(xí)框架選擇實戰(zhàn)
- pytorch中tensorboard安裝及安裝過程中出現(xiàn)的常見錯誤問題
- Pytorch之tensorboard無法啟動和顯示問題及解決
- Pytorch Dataset,TensorDataset,Dataloader,Sampler關(guān)系解讀
- PyTorch中tensor[..., 2:4]的實現(xiàn)示例
相關(guān)文章
這篇文章主要介紹了Python list去重且保持原順序不變的方法，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-04-04
本篇博客將引領(lǐng)讀者穿越數(shù)學(xué)、計算和可視化的領(lǐng)域,通過豐富的示例代碼,揭示π的獨特之處,無論是計算π的各種方法、應(yīng)用領(lǐng)域中的角色,還是π作為無理數(shù)的特性,我們將通過Python的鏡頭,發(fā)現(xiàn)這個數(shù)字在數(shù)學(xué)世界中的非凡之處2024-01-01
二分查找,也稱折半查找,是一種效率較高的查找方法,本文主要介紹了python二分查找搜索算法的多種實現(xiàn)方法,具有一定的參考價值,感興趣的可以了解一下2024-03-03
在正則表達式中,零寬斷言是控制匹配邊界的隱形指揮棒,負向先行斷言(?!pattern)和負向后行斷言(?<!pattern)堪稱排除大師,能精準過濾不需要的上下文,本文將結(jié)合Python的re模塊,通過案例拆解其核心用法,需要的朋友可以參考下2025-12-12
這篇文章主要介紹了python文件讀寫代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-10-10
這篇文章主要介紹了python制作英語翻譯小工具代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09
今天小編就為大家分享一篇Python中文件的寫入讀取以及附加文字方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
pytorch中 gpu與gpu、gpu與cpu 在load時相互轉(zhuǎn)化操作
這篇文章主要介紹了pytorch模型載入之gpu和cpu互轉(zhuǎn)操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
從基礎(chǔ)操作到高級技巧詳解Python源代碼導(dǎo)出全攻略
在Python開發(fā)中,導(dǎo)出源代碼是一個常見需求,本文將通過真實場景案例,用通俗易懂的方式講解Python源代碼導(dǎo)出的完整方案,希望對大家有所幫助2026-02-02
最新解決沒有NVSMI文件夾以及nvidia-smi‘?不是內(nèi)部或外部命令也不是可運行的程序或批處理文件
這篇文章主要介紹了解決沒有NVSMI文件夾以及nvidia-smi‘?不是內(nèi)部或外部命令也不是可運行的程序或批處理文件,本文通過兩種問題分析給大家分享解決方法，需要的朋友可以參考下2023-01-01