tensorflow 查看梯度方式
更新時間：2020年02月04日 10:53:36 作者：zyr523
今天小編就為大家分享一篇tensorflow 查看梯度方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
1. 為什么要查看梯度
對于初學(xué)者來說網(wǎng)絡(luò)經(jīng)常不收斂，loss很奇怪（就是不收斂），所以懷疑是反向傳播中梯度的問題
（1）求導(dǎo)之后的數(shù)（的絕對值）越來越?。ㄚ吔?），這就是梯度消失
（2）求導(dǎo)之后的數(shù)（的絕對值）越來越大（特別大，發(fā)散），這就是梯度爆炸
所以說呢，當(dāng)loss不正常時，可以看看梯度是否處于爆炸，或者是消失了，梯度爆炸的話，網(wǎng)絡(luò)中的W也會很大，人工控制一下（初始化的時候弄小點等等肯定還有其它方法，只是我不知道，知道的大神也可以稍微告訴我一下~~），要是梯度消失，可以試著用用resnet,densenet之類的
2. tensorflow中如何查看梯度
tf.gradients(y,x)這里的就是y對于x的導(dǎo)數(shù)（dy/dx）,x和y一定要有關(guān)聯(lián)哦~
直接tf.gradients(y_, weight1)就可以了~
以上這篇tensorflow 查看梯度方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
python調(diào)用Matplotlib繪制分布點并且添加標(biāo)簽
這篇文章主要為大家詳細(xì)介紹了python調(diào)用Matplotlib繪制分布點并且添加標(biāo)簽的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-05-05
這篇文章主要介紹了python SocketServer源碼深入解讀,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09
本文主要介紹了Python把png轉(zhuǎn)成jpg的項目實踐,可以使用PIL庫來將PNG圖片轉(zhuǎn)換為JPG格式,具有一定的參考價值,感興趣的可以了解一下2024-02-02
這篇文章主要介紹了python 實現(xiàn)音頻疊加的示例，幫助大家更好的理解和使用python處理聲音文件，感興趣的朋友可以了解下2020-10-10
這篇文章給大家分享了Vim配置python開發(fā)環(huán)境的實踐心得，大家可以跟著嘗試操作下。2018-07-07
使用PyInstaller將Python代碼打包成獨立可執(zhí)行文件詳細(xì)步驟
PyInstaller是一個Python庫,可以將Python應(yīng)用程序轉(zhuǎn)換為獨立的可執(zhí)行文件,這篇文章主要給大家介紹了關(guān)于使用PyInstaller將Python代碼打包成獨立可執(zhí)行文件的詳細(xì)步驟,需要的朋友可以參考下2024-07-07
這篇文章主要介紹了如何利用?Python?實現(xiàn)酷我在線音樂的爬取，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起了解一下2022-04-04
這篇文章主要為大家介紹了Python?Textual文本用戶界面框架使用原理探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-02-02
Pandas 處理DataFrame中的inf值實現(xiàn)
Inf 表示正無窮大或負(fù)無窮大,通常是在數(shù)學(xué)計算中產(chǎn)生的結(jié)果,本文主要介紹了Pandas 處理DataFrame中的inf值實現(xiàn),具有一定的參考價值,感興趣的可以了解一下2024-04-04
Python中的extend函數(shù)是用于將一個列表的元素添加到另一個列表中,它會將第一個列表中的元素逐個添加到第二個列表的末尾,這篇文章主要給大家介紹了關(guān)于python中extend函數(shù)舉例詳解以及對比的相關(guān)資料,需要的朋友可以參考下2024-03-03