反向傳播BP學(xué)習(xí)算法Gradient?Descent的推導(dǎo)過(guò)程
BP算法是適用于多層神經(jīng)網(wǎng)絡(luò)的一種算法，它是建立在梯度下降法的基礎(chǔ)上的。本文著重推導(dǎo)怎樣利用梯度下降法來(lái)minimise Loss Function。
給出多層神經(jīng)網(wǎng)絡(luò)的示意圖：
1.定義Loss Function
每一個(gè)輸出都對(duì)應(yīng)一個(gè)損失函數(shù)L，將所有L加起來(lái)就是total loss。
那么每一個(gè)L該如何定義呢？這里還是采用了交叉熵，如下所示：
最終Total Loss的表達(dá)式如下：
2.Gradient Descent
L對(duì)應(yīng)了一個(gè)參數(shù)，即Network parameters θ(w1,w2…b1,b2…)，那么Gradient Descent就是求出參數(shù) θ∗來(lái)minimise Loss Function，即：
梯度下降的具體步驟為：
3.求偏微分
從上圖可以看出，這里難點(diǎn)主要是求偏微分，由于L是所有損失之和，因此我們只需要對(duì)其中一個(gè)損失求偏微分，最后再求和即可。
先抽取一個(gè)簡(jiǎn)單的神經(jīng)元來(lái)解釋?zhuān)?/p>
因?yàn)槲覀儾⒉恢篮竺娴降子卸嗌賹?，也不知道情況到底有多復(fù)雜，我們不妨先取一種最簡(jiǎn)單的情況，如下所示：
4.反向傳播
l對(duì)兩個(gè)z的偏導(dǎo)我們假設(shè)是已知的，并且在這里是作為輸入，三角形結(jié)構(gòu)可以理解為一個(gè)乘法運(yùn)算電路，其放大系數(shù)為 σ′(z)。但是在實(shí)際情況中，l對(duì)兩個(gè)z的偏導(dǎo)是未知的。假設(shè)神經(jīng)網(wǎng)絡(luò)最終的結(jié)構(gòu)就是如上圖所示，那么我們的問(wèn)題已經(jīng)解決了：
其中：
但是假如該神經(jīng)元不是最后一層，我們又該如何呢？比如又多了一層，如下所示：
原理跟上面類(lèi)似，如下所示：
那假設(shè)我們?cè)偌右粚幽?？再加兩層呢？再加三層呢？。。。，情況還是一樣的，還是先求l對(duì)最后一層z的導(dǎo)數(shù)，乘以權(quán)重相加后最后再乘上 σ′(z′′,z′′′,...)即可。
最后給一個(gè)實(shí)例：
它的反向傳播圖長(zhǎng)這樣：
我們不難發(fā)現(xiàn)，這種計(jì)算方式很清楚明了地體現(xiàn)了“反向傳播”四個(gè)字。好了，目標(biāo)達(dá)成??！
5.總結(jié)
以上就是反向傳播BP學(xué)習(xí)算法-Gradient Descent的推導(dǎo)過(guò)程的詳細(xì)內(nèi)容，更多關(guān)于BP反向傳播Gradient Descent推導(dǎo)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
有很多理由都能說(shuō)明為什么我們應(yīng)該寫(xiě)出清晰、可讀性好的程序。最重要的一點(diǎn)，程序你只寫(xiě)一次，但以后會(huì)無(wú)數(shù)次的閱讀2011-10-10
這篇文章主要介紹了gitlab分支合并沖突的處理過(guò)程,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
Visual?Studio?Code?(VSCode)是一款功能強(qiáng)大的開(kāi)源代碼編輯器,免費(fèi)開(kāi)源,本文將分享一些常用的VSCode小技巧,幫助你提升開(kāi)發(fā)效率和編程體驗(yàn),專(zhuān)注于業(yè)務(wù)邏輯的開(kāi)發(fā),無(wú)論是文件導(dǎo)航、代碼編輯、調(diào)試還是終端操作,VSCode?都能提供非常豐富的功能,幫助你快速構(gòu)建高質(zhì)量的應(yīng)用2025-02-02
在微信小程序開(kāi)發(fā)過(guò)程中需要在小程序里使用SVG矢量圖標(biāo),下面為大家分享2種在微信小程序中引入SVG矢量圖標(biāo)的方法2018-10-10
高性能WEB開(kāi)發(fā) 為什么要減少請(qǐng)求數(shù)，如何減少請(qǐng)求數(shù)!
我們先分析下請(qǐng)求頭，看看每次請(qǐng)求都帶了那些額外的數(shù)據(jù).下面是監(jiān)控的google的請(qǐng)求頭2010-05-05
這篇文章主要給大家介紹了關(guān)于VS?Code快速生成html(頭部)模板的相關(guān)資料,為了避免簡(jiǎn)單的重復(fù)勞動(dòng),借助VSCODE 快速生成文件頭部,在項(xiàng)目搭建中體驗(yàn)非常舒適,需要的朋友可以參考下2023-11-11
GitLab使用外部提供的Redis緩存數(shù)據(jù)庫(kù)的方法詳解
這篇文章主要介紹了GitLab: 如何使用外部提供的Redis緩存數(shù)據(jù)庫(kù),本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-09-09
不知有多少朋友遇到此類(lèi)問(wèn)題：在PS里處理好的圖，發(fā)到論論壇上以后發(fā)現(xiàn)圖片顏色大變，變得灰蒙蒙，失去了層次，色彩生硬，還有點(diǎn)發(fā)青2014-05-05
IDEA2019.3在Plugins中搜索不到translation的解決
這篇文章主要介紹了IDEA2019.3在Plugins中搜索不到translation的解決，文中通過(guò)圖文的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
這篇文章主要介紹了idea+git合并分支解決沖突及詳解步驟,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07