Tensor和tensor的區(qū)別

本文列舉的框架源碼基于PyTorch1.0，交互語句在0.4.1上測試通過

import torch

在PyTorch中，Tensor和tensor都能用于生成新的張量：

>>> a=torch.Tensor([1,2])
>>> a
tensor([1., 2.])
>>> a=torch.tensor([1,2])
>>> a
tensor([1, 2])

但是這二者的用法有什么區(qū)別呢？我沒有找到合適的中文資料，英文的資料如 https://discuss.pytorch.org/t/what-is-the-difference-between-tensor-and-tensor-is-tensor-going-to-be-deprecated-in-the-future/17134/8 也已經(jīng)過時了，那就自己動手豐衣足食吧。

首先，我們需要明確一下，torch.Tensor()是python類，更明確地說，是默認(rèn)張量類型torch.FloatTensor()的別名，torch.Tensor([1,2])會調(diào)用Tensor類的構(gòu)造函數(shù)__init__，生成單精度浮點(diǎn)類型的張量。

>>> a=torch.Tensor([1,2])
>>> a.type()
'torch.FloatTensor'

而torch.tensor()僅僅是python函數(shù)：https://pytorch.org/docs/stable/torch.html#torch.tensor ，函數(shù)原型是：

torch.tensor(data, dtype=None, device=None, requires_grad=False)

其中data可以是：list, tuple, NumPy ndarray, scalar和其他類型。

torch.tensor會從data中的數(shù)據(jù)部分做拷貝（而不是直接引用），根據(jù)原始數(shù)據(jù)類型生成相應(yīng)的torch.LongTensor、torch.FloatTensor和torch.DoubleTensor。

>>> a=torch.tensor([1,2])
>>> a.type()
'torch.LongTensor'

>>> a=torch.tensor([1.,2.])
>>> a.type()
'torch.FloatTensor'

>>> a=np.zeros(2,dtype=np.float64)
>>> a=torch.tensor(a)
>>> a.type()
'torch.DoubleTensor'

這里再說一下torch.empty()，根據(jù) https://pytorch.org/docs/stable/torch.html?highlight=empty#torch.empty ，我們可以生成指定類型、指定設(shè)備以及其他參數(shù)的張量，由于torch.Tensor()只能指定數(shù)據(jù)類型為torch.float，所以torch.Tensor()可以看做torch.empty()的一個特殊情況。

最后放一個小彩蛋

>>> a=torch.tensor(1)
>>> a
tensor(1)
>>> a.type()
'torch.LongTensor'
>>> a=torch.Tensor(1)
>>> a
tensor([0.])
>>> a.type()
'torch.FloatTensor'

pytorch Tensor變形函數(shù)

view(), resize(), reshape() 在不改變原tensor數(shù)據(jù)的情況下修改tensor的形狀，前后要求元素總數(shù)一致，且前后tensor共享內(nèi)存

如果想要直接改變Tensor的尺寸，可以使用resize_()的原地操作函數(shù)。

在resize_()函數(shù)中，如果超過了原Tensor的大小則重新分配內(nèi)存，多出部分置0，如果小于原Tensor大小則剩余的部分仍然會隱藏保留。

transpose()函數(shù)可以將指定的兩個維度的元素進(jìn)行轉(zhuǎn)置，而permute()函數(shù)則可以按照給定的維度進(jìn)行維度變換。

在實(shí)際的應(yīng)用中，經(jīng)常需要增加或減少Tensor的維度，尤其是維度為1的情況，這時候可以使用squeeze()與unsqueeze()函數(shù)，前者用于去除size為1的維度，而后者則是將指定的維度的size變?yōu)?。

有時需要采用復(fù)制元素的形式來擴(kuò)展Tensor的維度，這時expand就派上用場了。

expand()函數(shù)將size為1的維度復(fù)制擴(kuò)展為指定大小，也可以使用expand_as()函數(shù)指定為示例Tensor的維度。

注意：在進(jìn)行Tensor操作時，有些操作如transpose()、permute()等可能會把Tensor在內(nèi)存中變得不連續(xù)，而有些操作如view()等是需要Tensor內(nèi)存連續(xù)的，這種情況下需要使用contiguous()操作先將內(nèi)存變?yōu)檫B續(xù)的。在PyTorch v0.4版本中增加了reshape()操作，可以看做是Tensor.contiguous().view()

Tensor的排序與取極值

排序函數(shù)sort()，選擇沿著指定維度進(jìn)行排序，返回排序后的Tensor及對應(yīng)的索引位置。max()與min()函數(shù)則是沿著指定維度選擇最大與最小元素，返回該元素及對應(yīng)的索引位置。

Tensor與NumPy轉(zhuǎn)換

Tensor與NumPy可以高效地進(jìn)行轉(zhuǎn)換，并且轉(zhuǎn)換前后的變量共享內(nèi)存。在進(jìn)行PyTorch不支持的操作時，甚至可以曲線救國，將Tensor轉(zhuǎn)換為NumPy類型，操作后再轉(zhuǎn)為Tensor。

以上為個人經(jīng)驗(yàn)，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論