F.softmax 是 PyTorch 中用于計(jì)算 Softmax 函數(shù) 的函數(shù)，通常用于 多分類任務(wù) 的輸出層，用來(lái)將模型的原始輸出（稱為 logits）轉(zhuǎn)化為概率分布。

Softmax 函數(shù)將每個(gè)類別的得分（logits）轉(zhuǎn)換為一個(gè)介于 0 和 1 之間的概率值，并且所有類別的概率之和等于 1。

Softmax 函數(shù)的定義

給定一個(gè)包含 個(gè)元素的向量 ，Softmax 函數(shù)的輸出是一個(gè)概率分布 ，其中每個(gè) 表示第個(gè)類別的概率。Softmax 的公式如下：

??

• ：第個(gè)類別的原始得分（logit）。
• ?：對(duì)得分進(jìn)行指數(shù)運(yùn)算。
• ?：所有類別得分指數(shù)的總和，用于對(duì)概率進(jìn)行歸一化，使得所有的概率和為 1。

F.softmax 的作用

F.softmax 函數(shù)將給定的 logits（即模型的原始輸出）轉(zhuǎn)換為概率分布。

假設(shè)我們有一個(gè)包含 10 個(gè)類別的模型輸出，那么 F.softmax 會(huì)將這 10 個(gè) logits 轉(zhuǎn)化為 10 個(gè)概率，每個(gè)概率值在 0 到 1 之間，并且所有 10 個(gè)概率的和為 1。

用法

在 PyTorch 中，F.softmax 由 torch.nn.functional 模塊提供，使用方式如下：

import torch
import torch.nn.functional as F

# 假設(shè)我們有一個(gè)大小為 [batch_size, num_classes] 的張量
logits = torch.tensor([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])

# 計(jì)算 softmax，dim=1 表示對(duì)每一行進(jìn)行 softmax 計(jì)算
probabilities = F.softmax(logits, dim=1)

print(probabilities)

詳細(xì)解釋

• logits：是一個(gè) 2D 張量，每一行表示一個(gè)樣本的原始輸出值（logits），每一列表示該樣本在某個(gè)類別的得分。

• dim=1：指定了計(jì)算 Softmax 的維度。dim=1 表示對(duì)每一行計(jì)算 Softmax，即每個(gè)樣本的得分都會(huì)被轉(zhuǎn)化為一個(gè)概率分布。注意，如果是處理多維數(shù)據(jù)，可以通過(guò)調(diào)整 dim 來(lái)指定 Softmax 計(jì)算的維度。

  • 如果 dim=0，則對(duì)每列計(jì)算 Softmax，通常在處理多批次數(shù)據(jù)時(shí)不常用。

• output：Softmax 轉(zhuǎn)換后的輸出是一個(gè)概率分布，所有元素都在 0 到 1 之間，并且每行的元素和為 1。

示例代碼解釋

import torch
import torch.nn.functional as F

# 假設(shè)輸入是一個(gè)大小為 (2, 3) 的張量，其中 2 是 batch_size，3 是類別數(shù)
logits = torch.tensor([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])

# 計(jì)算 Softmax，按照列來(lái)計(jì)算，即對(duì)每行進(jìn)行 Softmax
probabilities = F.softmax(logits, dim=1)

print(probabilities)

輸入：

tensor([[1.0, 2.0, 3.0], 
        [1.0, 2.0, 3.0]])

輸出：

tensor([[0.09003057, 0.24472847, 0.66524096],
        [0.09003057, 0.24472847, 0.66524096]])

解釋：

• 對(duì)于每一行的得分，Softmax 會(huì)將其轉(zhuǎn)換為概率。
  • 第一行 [1.0, 2.0, 3.0] 經(jīng)過(guò) Softmax 處理后得到 [0.0900, 0.2447, 0.6652]，這些概率值的總和為 1。
  • 第二行 [1.0, 2.0, 3.0] 同樣經(jīng)過(guò) Softmax 轉(zhuǎn)換后，得到相同的概率分布 [0.0900, 0.2447, 0.6652]，這也保證了概率總和為 1。

為什么使用 Softmax？

• 多分類任務(wù)：在多分類問(wèn)題中，模型的輸出通常是每個(gè)類別的原始得分。Softmax 函數(shù)能夠?qū)⑦@些得分轉(zhuǎn)化為概率分布，使得每個(gè)類別的預(yù)測(cè)概率能夠加起來(lái)為 1，并且通過(guò)最大概率來(lái)做預(yù)測(cè)。

• 分類概率：Softmax 給出的每個(gè)類別的概率可以幫助我們了解模型對(duì)每個(gè)類別的信心程度。對(duì)于實(shí)際應(yīng)用，通常選擇概率最大的類別作為模型的預(yù)測(cè)結(jié)果。

Softmax 與 Logits

• Logits 是未經(jīng)處理的原始輸出值，通常來(lái)自神經(jīng)網(wǎng)絡(luò)的輸出層。
• Softmax 是對(duì) logits 的一種規(guī)范化，它將 logits 轉(zhuǎn)換為 0 到 1 之間的概率值。

示例：多分類任務(wù)中的 Softmax

假設(shè)我們有一個(gè)多分類任務(wù)，模型的輸出是一個(gè)包含 4 個(gè)類別的 logits 向量，[2.0, 1.0, 0.1, 0.5]。

我們希望將其轉(zhuǎn)換為類別的概率分布。

import torch
import torch.nn.functional as F

logits = torch.tensor([2.0, 1.0, 0.1, 0.5])

# 使用 F.softmax 將 logits 轉(zhuǎn)換為概率分布
probabilities = F.softmax(logits, dim=0)

print(probabilities)

輸出：

tensor([0.5438, 0.1993, 0.0717, 0.1852])

解釋：

• 原始 logits 為 [2.0, 1.0, 0.1, 0.5]，經(jīng)過(guò) Softmax 處理后，得到了每個(gè)類別的概率 [0.5438, 0.1993, 0.0717, 0.1852]。概率最大的類別是第一個(gè)類別，其概率為 0.5438。

總結(jié)

• Softmax 函數(shù)將 logits 轉(zhuǎn)換為概率分布，適用于多分類任務(wù)。
• 它保證了輸出的每個(gè)類別概率值在 0 到 1 之間，并且所有概率的和為 1。
• 在 PyTorch 中，F.softmax 是計(jì)算 Softmax 的常用函數(shù)，通常與 CrossEntropyLoss 搭配使用。

到此這篇關(guān)于PyTorch中F.softmax的具體使用的文章就介紹到這了,更多相關(guān)PyTorch F.softmax內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！ 

最新評(píng)論