python編寫softmax函數(shù)、交叉熵函數(shù)實(shí)例
python代碼如下：
import numpy as np # Write a function that takes as input a list of numbers, and returns # the list of values given by the softmax function. def softmax(L): pass expL = np.exp(L) sumExpL = sum(expL) result = [] for i in expL: result.append(i*1.0/sumExpL) return result
python編寫交叉熵公式：
import numpy as np def cross_entropy(Y, P): Y = np.float_(Y) P = np.float_(P) return -np.sum(Y * np.log(P) + (1 - Y) * np.log(1 - P))
補(bǔ)充知識(shí)：分類時(shí)，為什么不使用均方誤差而是使用交叉熵作為損失函數(shù)
MSE（均方誤差）對(duì)于每一個(gè)輸出的結(jié)果都非?？粗?，而交叉熵只對(duì)正確分類的結(jié)果看重。
例如：在一個(gè)三分類模型中，模型的輸出結(jié)果為（a,b,c)，而真實(shí)的輸出結(jié)果為(1,0,0)，那么MSE與cross-entropy相對(duì)應(yīng)的損失函數(shù)的值如下：
MSE：
cross-entropy：
從上述的公式可以看出，交叉熵的損失函數(shù)只和分類正確的預(yù)測(cè)結(jié)果有關(guān)系，而MSE的損失函數(shù)還和錯(cuò)誤的分類有關(guān)系，該分類函數(shù)除了讓正確的分類盡量變大，還會(huì)讓錯(cuò)誤的分類變得平均，但實(shí)際在分類問(wèn)題中這個(gè)調(diào)整是沒(méi)有必要的。
但是對(duì)于回歸問(wèn)題來(lái)說(shuō)，這樣的考慮就顯得很重要了。所以，回歸問(wèn)題熵使用交叉上并不合適。
以上這篇python編寫softmax函數(shù)、交叉熵函數(shù)實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Pycharm關(guān)閉控制臺(tái)多余窗口的解決辦法
這篇文章主要介紹了Pycharm關(guān)閉控制臺(tái)多余窗口的解決辦法,文中通過(guò)圖文結(jié)合的方式講解的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-12-12
淺談python中對(duì)于json寫入txt文件的編碼問(wèn)題
今天小編就為大家分享一篇淺談python中對(duì)于json寫入txt文件的編碼問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
Python利用全連接神經(jīng)網(wǎng)絡(luò)求解MNIST問(wèn)題詳解
這篇文章主要介紹了Python利用全連接神經(jīng)網(wǎng)絡(luò)求解MNIST問(wèn)題,結(jié)合實(shí)例形式詳細(xì)分析了單隱藏層神經(jīng)網(wǎng)絡(luò)與多層神經(jīng)網(wǎng)絡(luò),以及Python全連接神經(jīng)網(wǎng)絡(luò)求解MNIST問(wèn)題相關(guān)操作技巧,需要的朋友可以參考下2020-01-01
什么是捕獲呢？使用小括號(hào)指定一個(gè)子表達(dá)式后，匹配這個(gè)子表達(dá)式的文本（即匹配的內(nèi)容）可以在表達(dá)式或者其他過(guò)程中接著用，下面這篇文章就主要介紹了Python正則表達(dá)式中關(guān)于捕獲的相關(guān)資料，需要的朋友可以參考下。2017-03-03
Python實(shí)現(xiàn)發(fā)送郵件到自己郵箱
在日常開發(fā)中，我們經(jīng)常需要監(jiān)控應(yīng)用程序的狀態(tài)，及時(shí)發(fā)現(xiàn)問(wèn)題并采取措施解決。而通過(guò)郵件發(fā)送報(bào)警信息則是一種常見的實(shí)現(xiàn)方式。本文就來(lái)介紹一下Python實(shí)現(xiàn)發(fā)送郵件到自己郵箱的方法2023-04-04
這篇文章主要介紹了Python模塊zipfile原理及使用方法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
使用NumPy讀取MNIST數(shù)據(jù)的實(shí)現(xiàn)代碼示例
這篇文章主要介紹了使用NumPy讀取MNIST數(shù)據(jù)的實(shí)現(xiàn)代碼示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
Django 解決阿里云部署同步數(shù)據(jù)庫(kù)報(bào)錯(cuò)的問(wèn)題
這篇文章主要介紹了Django 解決阿里云部署同步數(shù)據(jù)庫(kù)報(bào)錯(cuò)的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
pytorch查看通道數(shù) 維數(shù) 尺寸大小方式
這篇文章主要介紹了pytorch查看通道數(shù) 維數(shù) 尺寸大小方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
字符串是Pyhon常用的數(shù)據(jù)類型,我們可以用引號(hào)來(lái)創(chuàng)建字符創(chuàng)(可以是單引號(hào)也可以是雙引號(hào),當(dāng)然引號(hào)必須是英文的),這篇文章主要給大家介紹了關(guān)于python字符串的一些常見實(shí)用操作,需要的朋友可以參考下2022-04-04