支持PyTorch的einops張量操作神器用法示例詳解
更新時間：2021年11月01日 17:26:06 作者：木盞
這篇文章主要為大家介紹了支持PyTorch的einops張量操作神器用法示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步早日升職加薪
今天做visual transformer研究的時候，發(fā)現(xiàn)了einops這么個神兵利器，決定大肆安利一波。
先看鏈接：https://github.com/arogozhnikov/einops
安裝：
pip install einops
基礎用法
einops的強項是把張量的維度操作具象化，讓開發(fā)者“想出即寫出”。舉個例子：
from einops import rearrange # rearrange elements according to the pattern output_tensor = rearrange(input_tensor, 'h w c -> c h w')
用'h w c -> c h w'就完成了維度調換，這個功能與pytorch中的permute相似。但是，einops的rearrange玩法可以更高級：
from einops import rearrange import torch a = torch.randn(3, 9, 9) # [3, 9, 9] output = rearrange(a, 'c (r p) w -> c r p w', p=3) print(output.shape) # [3, 3, 3, 9]
這就是高級用法了，把中間維度看作r×p，然后給出p的數(shù)值，這樣系統(tǒng)會自動把中間那個維度拆解成3×3。這樣就完成了[3, 9, 9] -> [3, 3, 3, 9]的維度轉換。
這個功能就不是pytorch的內置功能可比的。
除此之外，還有reduce和repeat，也是很好用。
from einops import repeat import torch a = torch.randn(9, 9) # [9, 9] output_tensor = repeat(a, 'h w -> c h w', c=3) # [3, 9, 9]
指定c，就可以指定復制的層數(shù)了。
再看reduce：
from einops import reduce import torch a = torch.randn(9, 9) # [9, 9] output_tensor = reduce(a, 'b c (h h2) (w w2) -> b h w c', 'mean', h2=2, w2=2)
這里的'mean'指定池化方式。 相信你看得懂，不懂可留言提問~
高級用法
einops也可以嵌套在pytorch的layer里，請看：
# example given for pytorch, but code in other frameworks is almost identical
from torch.nn import Sequential, Conv2d, MaxPool2d, Linear, ReLU
from einops.layers.torch import Rearrange
model = Sequential(
Conv2d(3, 6, kernel_size=5),
MaxPool2d(kernel_size=2),
Conv2d(6, 16, kernel_size=5),
MaxPool2d(kernel_size=2),
# flattening
Rearrange('b c h w -> b (c h w)'),
Linear(16*5*5, 120),
ReLU(),
Linear(120, 10),
)
這里的Rearrange是nn.module的子類，直接可以當作網(wǎng)絡層放到模型里~
一個字，絕。
以上就是支持PyTorch的einops張量操作神器用法示例詳解的詳細內容，更多關于einops張量操作用法的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要給大家介紹了關于Python實現(xiàn)LR1文法的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-10-10
python實現(xiàn)封裝得到virustotal掃描結果
這篇文章主要介紹了python實現(xiàn)封裝得到virustotal掃描結果的方法,是比較實用的技巧,可將掃描結果寫入數(shù)據(jù)庫,需要的朋友可以參考下2014-10-10
這篇文章主要介紹了django rest framework 過濾時間操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
上一次的智慧校園自動評教是用的selenium庫去模擬人去對瀏覽器進行點擊操作,雖然比手動評教要快,但是效率還是不高.從而想去嘗試重新寫一份不用selenium的評教方案,功夫不負有心人,最終成功了,需要的朋友可以參考下2021-06-06
Jupyter Notebook讀取csv文件出現(xiàn)的問題及解決
這篇文章主要介紹了Jupyter Notebook讀取csv文件出現(xiàn)的問題及解決，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-01-01
這篇文章主要介紹了python celery分布式任務隊列的使用詳解，Celery 是一個 基于python開發(fā)的分布式異步消息任務隊列，通過它可以輕松的實現(xiàn)任務的異步處理， 如果你的業(yè)務場景中需要用到異步任務，就可以考慮使用celery,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了C#返回當前系統(tǒng)所有可用驅動器符號的方法,涉及C#操作系統(tǒng)硬件驅動的相關技巧,需要的朋友可以參考下2015-04-04
這篇文章主要為大家詳細介紹了python可視化實現(xiàn)KNN算法，通過繪圖工具Matplotlib包可視化實現(xiàn)機器學習中的KNN算法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-10-10
今天小編就為大家分享一篇使用Numpy讀取CSV文件,并進行行列刪除的操作方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
python通過ElementTree操作XML獲取結點讀取屬性美化XML
本文講解如何通過ElementTree解析XML,獲取兒子結點、插入兒子結點、操作屬性、美化XML2013-12-12