使用tensorflow 實現(xiàn)反向傳播求導
看代碼吧~
X=tf.constant([-1,-2],dtype=tf.float32)
w=tf.Variable([2.,3.])
truth=[3.,3.]
Y=w*X
# cost=tf.reduce_sum(tf.reduce_sum(Y*truth)/(tf.sqrt(tf.reduce_sum(tf.square(Y)))*tf.sqrt(tf.reduce_sum(tf.square(truth)))))
cost=Y[1]*Y
optimizer = tf.train.GradientDescentOptimizer(1).minimize(cost)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
print(sess.run(Y))
print(sess.run(w))
print(sess.run(cost))
print(sess.run(Y))
sess.run(optimizer)
print(sess.run(w))
結果如下
W由[2,3]變成[-4，-25]
過程：
f=y0*y=w0*x0*w*x=[w1*x1*w0*x0,w1*x1*w1*x1,]
f對w0求導，得w1*x0*x1+0=6 ,所以新的w0=w0-6=-4
f對w1求導，得 w0*x0*x1+2*w1*x1*x1=28,所以新的w1=w1-28=-25
補充：【TensorFlow篇】--反向傳播
一、前述
反向自動求導是 TensorFlow 實現(xiàn)的方案，首先，它執(zhí)行圖的前向階段，從輸入到輸出，去計算節(jié)點
值，然后是反向階段，從輸出到輸入去計算所有的偏導。
二、具體
1、舉例
圖是第二個階段，在第一個階段中，從 x =3和 y =4開始去計算所有的節(jié)點值
f ( x / y )=x 2 * y + y + 2
求解的想法是逐漸的從圖上往下，計算 f ( x , y )的偏導，使用每一個連續(xù)的節(jié)點，直到我們到達變量節(jié)
點，嚴重依賴鏈式求導法則！
2.具體過程：
因為n7是輸出節(jié)點，所以f=n7，所以𝜕f/𝜕𝑛7= 1
讓我們繼續(xù)往下走到n5節(jié)點，𝜕f/𝜕𝑛5=𝜕f/𝜕𝑛7∗𝜕𝑛7/𝜕𝑛5 . 我們已知𝜕f/𝜕𝑛7=1，所以我們需要知道𝜕𝑛7/𝜕𝑛5 ，因為n7=n5+n6，所以我們求得𝜕𝑛7/𝜕𝑛5=1，所以𝜕f/𝜕𝑛5=1*1=1
現(xiàn)在我們繼續(xù)走到節(jié)點n4，𝜕f/𝜕𝑛4=𝜕f/𝜕𝑛5∗𝜕𝑛5/𝜕𝑛4,因為n5=n4*n2，我們求得�𝑛5/𝜕𝑛4=n2，𝜕f/𝜕𝑛4=1*4
沿著圖一路向下，我們可以計算出所有節(jié)點，就能計算出 𝜕𝑓/𝜕x= 24，𝜕𝑓/𝜕y= 10
那我們就可以利用和上面類似的方式方法去計算𝜕𝑓/𝜕𝑤
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Pytorch怎樣保存訓練好的模型問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
Python基于pyCUDA實現(xiàn)GPU加速并行計算功能入門教程
這篇文章主要介紹了Python基于pyCUDA實現(xiàn)GPU加速并行計算功能,結合實例形式分析了Python使用pyCUDA進行GPU加速并行計算的原理與相關實現(xiàn)操作技巧,需要的朋友可以參考下2018-06-06
今天小編就為大家分享一篇關于使用Python批量修改文件名的代碼實例，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-01-01
這篇文章主要介紹了Python腳本去除文件的只讀性操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
這篇文章主要介紹了在編程中遇到文件路徑找不到問題的原因和解決方法,包括路徑錯誤、路徑分隔符問題、工作目錄錯誤、權限問題以及虛擬環(huán)境的影響,并提供了一些實用的解決方案,通過代碼介紹的非常詳細,需要的朋友可以參考下2025-01-01
在本篇文章中小編給大家整理的是一篇關于Python中的Cookie模塊用法的相關知識點文章，需要的朋友們可以參考下。2020-06-06
相信很多的新手朋友都會碰到python連接字符串和數(shù)字的問題，因為python是強類型的語言，如果你把一個字符串和數(shù)字直接做連接的操作的話，就會直接報錯的，今天就給大家說下字符串和數(shù)字拼接的問題，有需要的朋友們可以參考借鑒。2016-10-10
這篇文章主要介紹了c++調(diào)用python中文亂碼問題,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
淺談python的elementtree模塊處理中文注意事項
這篇文章主要介紹了淺談python的elementtree模塊處理中文注意事項，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
這篇文章主要為大家詳細介紹了使用Python進行批量分割PDF文件的相關方法,我們將從架構設計入手,逐步講解代碼實現(xiàn)的過程,希望對大家有所幫助2023-11-11