TensorFlow梯度求解tf.gradients實(shí)例
更新時間：2020年02月04日 11:17:35 作者：yqtaowhu
今天小編就為大家分享一篇TensorFlow梯度求解tf.gradients實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
我就廢話不多說了，直接上代碼吧！
import tensorflow as tf w1 = tf.Variable([[1,2]]) w2 = tf.Variable([[3,4]]) res = tf.matmul(w1, [[2],[1]]) grads = tf.gradients(res,[w1]) with tf.Session() as sess: tf.global_variables_initializer().run() print sess.run(res) print sess.run(grads)
輸出結(jié)果為：
[[4]] [array([[2, 1]], dtype=int32)]
可以這樣看res與w1有關(guān)，w1的參數(shù)設(shè)為[a1,a2],則：
2*a1 + a2 = res
所以res對a1,a2求導(dǎo)可得 [[2,1]]為w1對應(yīng)的梯度信息。
import tensorflow as tf
def gradient_clip(gradients, max_gradient_norm):
"""Clipping gradients of a model."""
clipped_gradients, gradient_norm = tf.clip_by_global_norm(
gradients, max_gradient_norm)
gradient_norm_summary = [tf.summary.scalar("grad_norm", gradient_norm)]
gradient_norm_summary.append(
tf.summary.scalar("clipped_gradient", tf.global_norm(clipped_gradients)))
return clipped_gradients
w1 = tf.Variable([[3.0,2.0]])
# w2 = tf.Variable([[3,4]])
params = tf.trainable_variables()
res = tf.matmul(w1, [[3.0],[1.]])
opt = tf.train.GradientDescentOptimizer(1.0)
grads = tf.gradients(res,[w1])
clipped_gradients = gradient_clip(grads,2.0)
global_step = tf.Variable(0, name='global_step', trainable=False)
#update = opt.apply_gradients(zip(clipped_gradients,params), global_step=global_step)
with tf.Session() as sess:
tf.global_variables_initializer().run()
print sess.run(res)
print sess.run(grads)
print sess.run(clipped_gradients)
以上這篇TensorFlow梯度求解tf.gradients實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- tensorflow 實(shí)現(xiàn)自定義梯度反向傳播代碼
- 有關(guān)Tensorflow梯度下降常用的優(yōu)化方法分享
- 基于TensorFlow中自定義梯度的2種方式
- tensorflow 查看梯度方式
- tensorflow求導(dǎo)和梯度計算實(shí)例
- Tensorflow的梯度異步更新示例
- 在Tensorflow中實(shí)現(xiàn)梯度下降法更新參數(shù)值
- Tensorflow實(shí)現(xiàn)部分參數(shù)梯度更新操作
- 運(yùn)用TensorFlow進(jìn)行簡單實(shí)現(xiàn)線性回歸、梯度下降示例
- Tensorflow 卷積的梯度反向傳播過程
相關(guān)文章
這篇文章主要介紹了Python爬蟲番外篇之Cookie和Session詳解，具有一定借鑒價值,需要的朋友可以參考下2017-12-12
這篇文章主要介紹了Python去除列表中重復(fù)元素的方法,實(shí)例分析了Python中去除列表重復(fù)元素的使用技巧,需要的朋友可以參考下2015-03-03
這篇文章主要為大家介紹了Python并發(fā)編程之線程消息通信機(jī)制的示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2021-10-10
Python中實(shí)現(xiàn)對list做減法操作介紹
這篇文章主要介紹了Python中實(shí)現(xiàn)對list做減法操作介紹,需要的朋友可以參考下2015-01-01
這篇文章主要介紹了Python如何重新加載模塊,文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
python實(shí)戰(zhàn)之利用pygame實(shí)現(xiàn)貪吃蛇游戲（一）
這篇文章主要介紹了python實(shí)戰(zhàn)之利用pygame實(shí)現(xiàn)貪吃蛇游戲,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python的小伙伴們有很好的幫助喲,需要的朋友可以參考下2021-05-05
python3 tkinter實(shí)現(xiàn)添加圖片和文本
這篇文章主要為大家詳細(xì)介紹了python3 tkinter實(shí)現(xiàn)添加圖片和文本，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-11-11
貪吃蛇是款經(jīng)典游戲，本文將帶你一步步用python語言實(shí)現(xiàn)一個貪吃蛇小游戲，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-11-11
PyTorch實(shí)現(xiàn)線性回歸詳細(xì)過程
本文介紹PyTorch實(shí)現(xiàn)線性回歸，線性關(guān)系是一種非常簡單的變量之間的關(guān)系，因變量和自變量在線性關(guān)系的情況下，可以使用線性回歸算法對一個或多個因變量和自變量間的線性關(guān)系進(jìn)行建模，該模型的系數(shù)可以用最小二乘法進(jìn)行求解,需要的朋友可以參考一下2022-03-03
python中l(wèi)ist循環(huán)語句用法實(shí)例
這篇文章主要介紹了python中l(wèi)ist循環(huán)語句用法,以實(shí)例形式詳細(xì)介紹了Python針對list的解析,包含各種常見的遍歷操作及原理分析,需要的朋友可以參考下2014-11-11