PyTorch 導(dǎo)數(shù)應(yīng)用的使用教程
前言
由于機(jī)器學(xué)習(xí)的基本思想就是找到一個(gè)函數(shù)去擬合樣本數(shù)據(jù)分布,因此就涉及到了梯度去求最小值,在超平面我們又很難直接得到全局最優(yōu)值,更沒有通用性,因此我們就想辦法讓梯度沿著負(fù)方向下降,那么我們就能得到一個(gè)局部或全局的最優(yōu)值了,因此導(dǎo)數(shù)就在機(jī)器學(xué)習(xí)中顯得非常重要了
基本使用
tensor.backward()可以及自動(dòng)將梯度累加積到tensor.grad上
x = torch.ones(3,3) print(x.requires_grad) x.requires_grad_(True) print(x.requires_grad) y = x**2/(x-2) out = y.mean() print(x.grad) out.backward() print(x.grad)
False
True
None
tensor([[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333],
[-0.3333, -0.3333, -0.3333]])
requires_grad 可以獲取到tensor是否可導(dǎo)
requires_grad_() 可以設(shè)置tensor是否可導(dǎo)
grad 查看當(dāng)前tensor導(dǎo)數(shù)
上面的公式很簡(jiǎn)單,程序含義
1/4 * (x**2) / (x-2)
求x的導(dǎo)數(shù),基本公式在下方
注意點(diǎn)
我們使用.mean后得到的是標(biāo)量,如果不是標(biāo)量會(huì)報(bào)錯(cuò)
x = torch.ones(3, requires_grad=True) y = x * 2 y = y * 2 print(y)
tensor([4., 4., 4.], grad_fn=<MulBackward0>)
y.backward() print(x.grad)
報(bào)錯(cuò)
RuntimeError: grad can be implicitly created only for scalar outputs
v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float) y.backward() print(x.grad)
tensor([4.0000e-01, 4.0000e+00, 4.0000e-04])
no_grad()作用域
如果想要某部分程序不可導(dǎo)那么我們可以使用這個(gè)
x = torch.ones(3, requires_grad=True) y = x * 2 print(y.requires_grad) with torch.no_grad(): y = y * 2 print(y.requires_grad)
True
False
總結(jié)
這一章我們使用pytorch里面的backward,自動(dòng)實(shí)現(xiàn)了函數(shù)的求導(dǎo),幫助我們?cè)诤竺婷鎸?duì)很多超大參數(shù)量的函數(shù)的時(shí)候,求導(dǎo)就變得游刃有余
上節(jié)
到此這篇關(guān)于PyTorch 導(dǎo)數(shù)應(yīng)用的使用教程的文章就介紹到這了,更多相關(guān)PyTorch 導(dǎo)數(shù)應(yīng)用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Win 10下Anaconda虛擬環(huán)境的相關(guān)知識(shí)，本文通過實(shí)例截圖相結(jié)合給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-05-05
在本篇文章里小編給大家整理的是關(guān)于Python3爬蟲mitmproxy的安裝步驟，需要的朋友們可以學(xué)習(xí)下。2020-07-07
python查找特定名稱文件并按序號(hào)、文件名分行打印輸出的方法
這篇文章主要介紹了python查找特定名稱文件并按序號(hào)、文件名分行打印輸出的方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-04-04
判斷文件類型在開發(fā)中非常常見的需求，怎樣才能準(zhǔn)確的判斷文件類型呢？首先大家想到的是文件的后綴，但是非常遺憾的是這種方法是非常不靠譜的，因?yàn)槲募暮缶Y是可以隨意更改的，而python中有個(gè)小插件可以實(shí)現(xiàn)，下面我們就來詳細(xì)探討下2017-07-07
Python遍歷指定文件夾下的所有文件名的方法小結(jié)
當(dāng)需要遍歷指定文件夾下的所有文件名時(shí),Python提供了多種方法來實(shí)現(xiàn)這個(gè)任務(wù),本文將介紹如何使用Python來完成這一任務(wù),有需要的小伙伴可以參考下2024-01-01
這篇文章主要給大家介紹了關(guān)于PyCharm中Python解釋器如何選擇的相關(guān)資料,文中詳細(xì)分析了四種常見的Python環(huán)境管理工具,分別是venv、conda、pipenv和poetry,需要的朋友可以參考下2024-11-11
今天小編就為大家分享一篇pandas重新生成索引的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-11-11
Python爬蟲抓取代理IP并檢驗(yàn)可用性的實(shí)例
今天小編就為大家分享一篇Python爬蟲抓取代理IP并檢驗(yàn)可用性的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
django實(shí)現(xiàn)支付寶支付實(shí)例講解
在本篇文章里小編給大家整理的是一篇關(guān)于django支付寶支付的代碼實(shí)例內(nèi)容，需要的朋友們可以學(xué)習(xí)下。2019-10-10
requests是一個(gè)python 輕量的http客戶端庫，相比python的標(biāo)準(zhǔn)庫要優(yōu)雅很多。接下來通過本文給大家介紹Python3使用requests發(fā)閃存的方法，感興趣的朋友一起學(xué)習(xí)吧2016-05-05