PyTorch中常用的激活函數(shù)的方法示例
更新時(shí)間：2019年08月20日 10:53:44 作者：Steven·簡談
這篇文章主要介紹了PyTorch中常用的激活函數(shù)的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
神經(jīng)網(wǎng)絡(luò)只是由兩個(gè)或多個(gè)線性網(wǎng)絡(luò)層疊加，并不能學(xué)到新的東西，簡單地堆疊網(wǎng)絡(luò)層，不經(jīng)過非線性激活函數(shù)激活，學(xué)到的仍然是線性關(guān)系。
但是加入激活函數(shù)可以學(xué)到非線性的關(guān)系，就具有更強(qiáng)的能力去進(jìn)行特征提取。
構(gòu)造數(shù)據(jù)
import torch import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt x = torch.linspace(-5, 5, 200) # 構(gòu)造一段連續(xù)的數(shù)據(jù) x = Variable(x) # 轉(zhuǎn)換成張量 x_np = x.data.numpy() # 換成 numpy array, 出圖時(shí)用
Relu
表達(dá)式：
代碼：
y_relu = F.relu(x).data.numpy() plt.plot(x_np, y_relu, c='red', label='relu') plt.ylim((-1, 5)) plt.legend(loc='best') plt.show()
形狀如圖：
Sigmoid
表達(dá)式：
代碼：
y_sigmoid = F.sigmoid(x).data.numpy() plt.plot(x_np, y_sigmoid, c='red', label='sigmoid') plt.ylim((-0.2, 1.2)) plt.legend(loc='best') plt.show()
形狀如圖：
Tanh
表達(dá)式：
代碼：
y_tanh = F.tanh(x).data.numpy() plt.plot(x_np, y_tanh, c='red', label='tanh') plt.ylim((-1.2, 1.2)) plt.legend(loc='best') plt.show()
形狀如圖：
Softplus
表達(dá)式：
代碼：
y_softplus = F.softplus(x).data.numpy() plt.plot(x_np, y_softplus, c='red', label='softplus') plt.ylim((-0.2, 6)) plt.legend(loc='best') plt.show()
形狀如圖：
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python使用matplotlib繪制折線圖，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-04-04
python實(shí)現(xiàn)猜數(shù)字游戲(無重復(fù)數(shù)字)示例分享
這篇文章主要介紹了python實(shí)現(xiàn)猜數(shù)字游戲(無重復(fù)數(shù)字)示例,需要的朋友可以參考下2014-03-03
Python實(shí)用小知識(shí)之對(duì)象間的比較
== 和 is 是 Python 中對(duì)象比較常用的兩種方式,簡單來說，'==' 操作符比較對(duì)象之間的值是否相等,下面這篇文章主要給大家介紹了關(guān)于Python實(shí)用小知識(shí)之對(duì)象間比較的相關(guān)資料,需要的朋友可以參考下2021-10-10
使用 python 實(shí)現(xiàn)單人AI 掃雷游戲
這篇文章主要介紹了使用 python 實(shí)現(xiàn)單人AI 掃雷游戲,今天我們用 Python 完成這個(gè)小程序，并且用AI來學(xué)習(xí)并實(shí)現(xiàn)它，需要的朋友可以參考下2021-08-08
查看keras的默認(rèn)backend實(shí)現(xiàn)方式
這篇文章主要介紹了查看keras的默認(rèn)backend實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06
Python提供了許多內(nèi)置庫來處理文件系統(tǒng)，如os、shutil和pathlib等，這些庫可以幫助你創(chuàng)建、刪除、讀取、寫入文件和目錄，這篇文章主要介紹了使用Python操作文件系統(tǒng),需要的朋友可以參考下2023-07-07
這篇文章主要給大家介紹了關(guān)于Python利用myqr庫創(chuàng)建自己的二維碼的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
python實(shí)現(xiàn)對(duì)svn操作及信息獲取
這篇文章主要介紹了python實(shí)現(xiàn)對(duì)svn的操作及信息獲取示例過程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2021-10-10
python神經(jīng)網(wǎng)絡(luò)Keras構(gòu)建CNN網(wǎng)絡(luò)訓(xùn)練
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)使用Keras構(gòu)建CNN網(wǎng)絡(luò)訓(xùn)練，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
Tensorflow Summary用法學(xué)習(xí)筆記
這篇文章主要介紹了Tensorflow Summary用法學(xué)習(xí)筆記，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01