Pytorch中torch.nn.Softmax的dim參數用法說明
Pytorch中torch.nn.Softmax的dim參數使用含義
涉及到多維tensor時，對softmax的參數dim總是很迷，下面用一個例子說明
import torch.nn as nn m = nn.Softmax(dim=0) n = nn.Softmax(dim=1) k = nn.Softmax(dim=2) input = torch.randn(2, 2, 3) print(input) print(m(input)) print(n(input)) print(k(input))
輸出：
input
tensor([[[ 0.5450, -0.6264, 1.0446],
[ 0.6324, 1.9069, 0.7158]],[[ 1.0092, 0.2421, -0.8928],
[ 0.0344, 0.9723, 0.4328]]])
dim=0
tensor([[[0.3860, 0.2956, 0.8741],
[0.6452, 0.7180, 0.5703]],[[0.6140, 0.7044, 0.1259],
[0.3548, 0.2820, 0.4297]]])
dim=0時，在第0維上sum=1，即：
[0][0][0]+[1][0][0]=0.3860+0.6140=1
[0][0][1]+[1][0][1]=0.2956+0.7044=1
… …
dim=1
tensor([[[0.4782, 0.0736, 0.5815],
[0.5218, 0.9264, 0.4185]],[[0.7261, 0.3251, 0.2099],
[0.2739, 0.6749, 0.7901]]])
dim=1時，在第1維上sum=1，即：
[0][0][0]+[0][1][0]=0.4782+0.5218=1
[0][0][1]+[0][1][1]=0.0736+0.9264=1
… …
dim=2
tensor([[[0.3381, 0.1048, 0.5572],
[0.1766, 0.6315, 0.1919]],[[0.6197, 0.2878, 0.0925],
[0.1983, 0.5065, 0.2953]]])
dim=2時，在第2維上sum=1，即：
[0][0][0]+[0][0][1]+[0][0][2]=0.3381+0.1048+0.5572=1.0001（四舍五入問題）
[0][1][0]+[0][1][1]+[0][1][2]=0.1766+0.6315+0.1919=1
… …
用圖表示223的張量如下：
多分類問題torch.nn.Softmax的使用
為什么談論這個問題呢？是因為我在工作的過程中遇到了語義分割預測輸出特征圖個數為16，也就是所謂的16分類問題。
因為每個通道的像素的值的大小代表了像素屬于該通道的類的大小，為了在一張圖上用不同的顏色顯示出來，我不得不學習了torch.nn.Softmax的使用。
首先看一個簡答的例子，倘若輸出為(3, 4, 4)，也就是3張4x4的特征圖。
import torch img = torch.rand((3,4,4)) print(img)
輸出為：
tensor([[[0.0413, 0.8728, 0.8926, 0.0693],
[0.4072, 0.0302, 0.9248, 0.6676],
[0.4699, 0.9197, 0.3333, 0.4809],
[0.3877, 0.7673, 0.6132, 0.5203]],[[0.4940, 0.7996, 0.5513, 0.8016],
[0.1157, 0.8323, 0.9944, 0.2127],
[0.3055, 0.4343, 0.8123, 0.3184],
[0.8246, 0.6731, 0.3229, 0.1730]],[[0.0661, 0.1905, 0.4490, 0.7484],
[0.4013, 0.1468, 0.2145, 0.8838],
[0.0083, 0.5029, 0.0141, 0.8998],
[0.8673, 0.2308, 0.8808, 0.0532]]])
我們可以看到共三張?zhí)卣鲌D，每張?zhí)卣鲌D上對應的值越大，說明屬于該特征圖對應類的概率越大。
import torch.nn as nn sogtmax = nn.Softmax(dim=0) img = sogtmax(img) print(img)
輸出為：
tensor([[[0.2780, 0.4107, 0.4251, 0.1979],
[0.3648, 0.2297, 0.3901, 0.3477],
[0.4035, 0.4396, 0.2993, 0.2967],
[0.2402, 0.4008, 0.3273, 0.4285]],[[0.4371, 0.3817, 0.3022, 0.4117],
[0.2726, 0.5122, 0.4182, 0.2206],
[0.3423, 0.2706, 0.4832, 0.2522],
[0.3718, 0.3648, 0.2449, 0.3028]],[[0.2849, 0.2076, 0.2728, 0.3904],
[0.3627, 0.2581, 0.1917, 0.4317],
[0.2543, 0.2898, 0.2175, 0.4511],
[0.3880, 0.2344, 0.4278, 0.2686]]])
可以看到，上面的代碼對每張?zhí)卣鲌D對應位置的像素值進行Softmax函數處理， 圖中標紅位置加和=1，同理，標藍位置加和=1。
我們看到Softmax函數會對原特征圖每個像素的值在對應維度(這里dim=0，也就是第一維)上進行計算，將其處理到0～1之間，并且大小固定不變。
print(torch.max(img,0))
輸出為：
torch.return_types.max(
values=tensor([[0.4371, 0.4107, 0.4251, 0.4117],
[0.3648, 0.5122, 0.4182, 0.4317],
[0.4035, 0.4396, 0.4832, 0.4511],
[0.3880, 0.4008, 0.4278, 0.4285]]),
indices=tensor([[1, 0, 0, 1],
[0, 1, 1, 2],
[0, 0, 1, 2],
[2, 0, 2, 0]]))
可以看到這里3x4x4變成了1x4x4，而且對應位置上的值為像素對應每個通道上的最大值，并且indices是對應的分類。
清楚理解了上面的流程，那么我們就容易處理了。
看具體案例，這里輸出output的大小為：16x416x416.
output = torch.tensor(output)
sm = nn.Softmax(dim=0)
output = sm(output)
mask = torch.max(output,0).indices.numpy()
# 因為要轉化為RGB彩色圖，所以增加一維
rgb_img = np.zeros((output.shape[1], output.shape[2], 3))
for i in range(len(mask)):
for j in range(len(mask[0])):
if mask[i][j] == 0:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 255
rgb_img[i][j][2] = 255
if mask[i][j] == 1:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 180
rgb_img[i][j][2] = 0
if mask[i][j] == 2:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 180
rgb_img[i][j][2] = 180
if mask[i][j] == 3:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 180
rgb_img[i][j][2] = 255
if mask[i][j] == 4:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 255
rgb_img[i][j][2] = 180
if mask[i][j] == 5:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 255
rgb_img[i][j][2] = 0
if mask[i][j] == 6:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 0
rgb_img[i][j][2] = 180
if mask[i][j] == 7:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 0
rgb_img[i][j][2] = 255
if mask[i][j] == 8:
rgb_img[i][j][0] = 255
rgb_img[i][j][1] = 0
rgb_img[i][j][2] = 0
if mask[i][j] == 9:
rgb_img[i][j][0] = 180
rgb_img[i][j][1] = 0
rgb_img[i][j][2] = 0
if mask[i][j] == 10:
rgb_img[i][j][0] = 180
rgb_img[i][j][1] = 255
rgb_img[i][j][2] = 255
if mask[i][j] == 11:
rgb_img[i][j][0] = 180
rgb_img[i][j][1] = 0
rgb_img[i][j][2] = 180
if mask[i][j] == 12:
rgb_img[i][j][0] = 180
rgb_img[i][j][1] = 0
rgb_img[i][j][2] = 255
if mask[i][j] == 13:
rgb_img[i][j][0] = 180
rgb_img[i][j][1] = 255
rgb_img[i][j][2] = 180
if mask[i][j] == 14:
rgb_img[i][j][0] = 0
rgb_img[i][j][1] = 180
rgb_img[i][j][2] = 255
if mask[i][j] == 15:
rgb_img[i][j][0] = 0
rgb_img[i][j][1] = 0
rgb_img[i][j][2] = 0
cv2.imwrite('output.jpg', rgb_img)
最后保存得到的圖為：
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
今天小編就為大家分享一篇對Python中l(wèi)ist的倒序索引和切片實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
這篇文章主要介紹了python抓取網頁圖片示例(python爬蟲),需要的朋友可以參考下2014-04-04
在Python的標準庫中，_winreg.pyd可以操作Windows的注冊表，另外第三方的win32庫封裝了大量的Windows API，使用起來也很方便。不過這里介紹的是使用_winreg操作注冊表，畢竟是Python自帶的標準庫，無需安裝第三方庫2013-04-04
pytest解讀fixtures中yield與addfinalizer區(qū)別
這篇文章主要為大家介紹了pytest官方解讀fixtures中yield與addfinalizer區(qū)別，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-06-06
這篇文章主要給大家介紹了關于Python繪圖之turtle庫的基礎語法使用的相關資料, Turtle庫是Python語言中一個很流行的繪制圖像的函數庫,再繪圖的時候經常需要用到的一個庫需要的朋友可以參考下2021-06-06
這篇文章主要介紹了Python中分數的相關使用教程,主要涉及分數的計算、約分等簡單操作，是Python學習過程當中的基礎，需要的朋友可以參考下2015-03-03
如今大多數企業(yè)都離不開爬蟲，它是獲取數據的一種有效方式。但是對爬蟲有著規(guī)模量級要求的企業(yè)或個人需要同時處理不同類別的爬蟲，這會憑空增添很多附加的管理成本。因此一個成熟的爬蟲管理流程應該包含一個管理系統(tǒng)，能夠有效處理上述問題。2021-05-05
這篇文章主要為大家介紹了Cpython的GIL解釋器鎖工作機制掌握示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-07-07
Pygame 中提供了一個draw模塊用來繪制一些簡單的圖形狀，比如矩形、多邊形、圓形、直線、弧線等，本文就詳細的介紹一下如何使用2021-11-11
這篇文章主要介紹了python爬蟲今日熱榜數據到txt文件的源碼,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02