快捷導(dǎo)航

tensorflow 實(shí)現(xiàn)自定義梯度反向傳播代碼

更新時(shí)間：2020年02月10日 08:34:36 作者：青盞

今天小編就為大家分享一篇tensorflow 實(shí)現(xiàn)自定義梯度反向傳播代碼，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

以sign函數(shù)為例：

sign函數(shù)可以對(duì)數(shù)值進(jìn)行二值化，但在梯度反向傳播是不好處理，一般采用一個(gè)近似函數(shù)的梯度作為代替，如上圖的Htanh。在[-1,1]直接梯度為1，其他為0。

#使用修飾器，建立梯度反向傳播函數(shù)。其中op.input包含輸入值、輸出值，grad包含上層傳來的梯度
@tf.RegisterGradient("QuantizeGrad")
def sign_grad(op, grad):
 input = op.inputs[0]
 cond = (input>=-1)&(input<=1)
 zeros = tf.zeros_like(grad)
 return tf.where(cond, grad, zeros)
 
#使用with上下文管理器覆蓋原始的sign梯度函數(shù)
def binary(input):
 x = input
 with tf.get_default_graph().gradient_override_map({"Sign":'QuantizeGrad'}):
  x = tf.sign(x)
 return x
 
#使用
x = binary(x)

以上這篇tensorflow 實(shí)現(xiàn)自定義梯度反向傳播代碼就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python多進(jìn)程和多線程介紹
這篇文章主要介紹了python多進(jìn)程和多線程，進(jìn)程是分配資源的最小單位，線程是系統(tǒng)調(diào)度的最小單位，下文更多相關(guān)資料介紹，需要的小伙伴可以參考一下
2022-04-04
Python撲克牌21點(diǎn)游戲?qū)嵗a
大家好，本篇文章主要講的是Python撲克牌21點(diǎn)游戲?qū)嵗a，感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽
2021-12-12
flask-socketio實(shí)現(xiàn)前后端實(shí)時(shí)通信的功能的示例
本文主要介紹了flask-socketio實(shí)現(xiàn)前后端實(shí)時(shí)通信的功能的示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-04-04
Python使用ntplib庫(kù)同步校準(zhǔn)當(dāng)?shù)貢r(shí)間的方法
NTP網(wǎng)絡(luò)時(shí)間協(xié)議其實(shí)大家平時(shí)或多或少都能接觸到,包括Windows在內(nèi)的操作系統(tǒng)中的很多Internet時(shí)間同步功能都是在NTP的基礎(chǔ)上來做,這里我們來看一下Python使用ntplib庫(kù)同步校準(zhǔn)當(dāng)?shù)貢r(shí)間的方法
2016-07-07
pd.read_csv讀取文件路徑出現(xiàn)的問題解決
本文主要介紹了pd.read_csv讀取文件路徑出現(xiàn)的問題解決，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2022-06-06
Python3實(shí)現(xiàn)二叉樹的最大深度
這篇文章主要介紹了Python3實(shí)現(xiàn)二叉樹的最大深度，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-09-09
pytorch中tensor轉(zhuǎn)換為float的實(shí)現(xiàn)示例
本文主要介紹了pytorch中tensor轉(zhuǎn)換為float，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2024-03-03
NumPy 數(shù)組屬性的具體使用
本文主要介紹了NumPy 數(shù)組屬性的具體使用，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2022-08-08
Django配置Bootstrap, js實(shí)現(xiàn)過程詳解
這篇文章主要介紹了Django配置Bootstrap, js實(shí)現(xiàn)過程詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-10-10
python 簡(jiǎn)單搭建阻塞式單進(jìn)程,多進(jìn)程,多線程服務(wù)的實(shí)例
下面小編就為大家?guī)硪黄猵ython 簡(jiǎn)單搭建阻塞式單進(jìn)程,多進(jìn)程,多線程服務(wù)的實(shí)例。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2017-11-11