快捷導(dǎo)航

pytorch中.numpy()、.item()、.cpu()、.detach()以及.data的使用方法

更新時(shí)間：2022年08月19日 09:25:22 作者：Unstoppable~~~

這篇文章主要給大家介紹了關(guān)于pytorch中.numpy()、.item()、.cpu()、.detach()以及.data的使用方法,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

.numpy()

Tensor.numpy()將Tensor轉(zhuǎn)化為ndarray，這里的Tensor可以是標(biāo)量或者向量（與item()不同）轉(zhuǎn)換前后的dtype不會(huì)改變

a = torch.tensor([[1.,2.]])
a_numpy = a.numpy() #[[1., 2.]]

.item()

將一個(gè)Tensor變量轉(zhuǎn)換為python標(biāo)量（int float等）常用于用于深度學(xué)習(xí)訓(xùn)練時(shí)，將loss值轉(zhuǎn)換為標(biāo)量并加，以及進(jìn)行分類(lèi)任務(wù)，計(jì)算準(zhǔn)確值值時(shí)需要

        optimizer.zero_grad()
        outputs = model(data)
        loss = F.cross_entropy(outputs, label)
        #計(jì)算這一個(gè)batch的準(zhǔn)確率
        acc = (outputs.argmax(dim=1) == label).sum().cpu().item() / len(labels) #這里也用到了.item()
        loss.backward()
        optimizer.step()
        train_loss += loss.item()   #這里用到了.item()
        train_acc += acc

.cpu()

將數(shù)據(jù)的處理設(shè)備從其他設(shè)備（如.cuda()拿到cpu上），不會(huì)改變變量類(lèi)型，轉(zhuǎn)換后仍然是Tensor變量。

.detach()和.data（重點(diǎn)）

.detach()就是返回一個(gè)新的tensor，并且這個(gè)tensor是從當(dāng)前的計(jì)算圖中分離出來(lái)的。但是返回的tensor和原來(lái)的tensor是共享內(nèi)存空間的。

舉個(gè)例子來(lái)說(shuō)明一下detach有什么用。如果A網(wǎng)絡(luò)的輸出被喂給B網(wǎng)絡(luò)作為輸入，如果我們希望在梯度反傳的時(shí)候只更新B中參數(shù)的值，而不更新A中的參數(shù)值，這時(shí)候就可以使用detach()

a = A(input)
a = a.deatch() # 或者a.detach_()進(jìn)行in_place操作
out = B(a)
loss = criterion(out, labels)
loss.backward()

Tensor.data和Tensor.detach()一樣，都會(huì)返回一個(gè)新的Tensor，這個(gè)Tensor和原來(lái)的Tensor共享內(nèi)存空間，一個(gè)改變，另一個(gè)也會(huì)隨著改變，且都會(huì)設(shè)置新的Tensor的requires_grad屬性為False。這兩個(gè)方法只取出原來(lái)Tensor的tensor數(shù)據(jù)，丟棄了grad、grad_fn等額外的信息。

tensor.data是不安全的, 因?yàn)?x.data 不能被 autograd 追蹤求微分

這是為什么呢？我們對(duì).data進(jìn)行進(jìn)一步探究

import torch

a = torch.tensor([4., 5., 6.], requires_grad=True)
print("a", a)
out = a.sigmoid()
print("out", out)
print(out.requires_grad)   #在進(jìn)行.data前仍為true
result = out.data  #共享變量,同時(shí)將requires_grad設(shè)置為false
result.zero_()  # 改變c的值，原來(lái)的out也會(huì)改變
print("result", result)
print("out", out)
out.sum().backward()  # 對(duì)原來(lái)的out求導(dǎo)，
print(a.grad)  # 不會(huì)報(bào)錯(cuò)，但是結(jié)果卻并不正確
'''運(yùn)行結(jié)果為：
a tensor([4., 5., 6.], requires_grad=True)
out tensor([0.9820, 0.9933, 0.9975], grad_fn=<SigmoidBackward0>)
True
result tensor([0., 0., 0.])
out tensor([0., 0., 0.], grad_fn=<SigmoidBackward0>)
tensor([0., 0., 0.])
'''

由于更改分離之后的變量值result,導(dǎo)致原來(lái)的張量out的值也跟著改變了，但是這種改變對(duì)于autograd是沒(méi)有察覺(jué)的，它依然按照求導(dǎo)規(guī)則來(lái)求導(dǎo)，導(dǎo)致得出完全錯(cuò)誤的導(dǎo)數(shù)值卻渾然不知。

那么我們繼續(xù)看看.detach()

可以看到將.data改為.detach()后程序立馬報(bào)錯(cuò)，阻止了非法的修改，安全性很高

我們需要記住的就是：

.data 是一個(gè)屬性，二.detach()是一個(gè)方法；
.data 是不安全的，.detach()是安全的。

補(bǔ)充：關(guān)于.data和.cpu().data的各種操作

先上圖

仔細(xì)分析：

1.首先a是一個(gè)放在GPU上的Variable，a.data是把Variable里的tensor取出來(lái)，

可以看出與a的差別是：缺少了第一行(Variable containing)

2.a.cpu()和a.data.cpu()是分別把a(bǔ)和a.data放在cpu上，其他的沒(méi)區(qū)別，另外：a.data.cpu()和a.cpu().data一樣

3.a.data[0] | a.cpu().data[0] | a.data.cpu()[0]是一樣的，都是把第一個(gè)值取出來(lái)，類(lèi)型均為float

4.a.data.cpu().numpy()把tensor轉(zhuǎn)換成numpy的格式

總結(jié)

到此這篇關(guān)于pytorch中.numpy()、.item()、.cpu()、.detach()以及.data使用的文章就介紹到這了,更多相關(guān)pytorch .numpy()、.item()、.cpu()、.detach()及.data內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: