tensorflow1.0學習之模型的保存與恢復(Saver)
更新時間：2018年04月23日 14:24:18 作者：denny402
這篇文章主要介紹了tensorflow1.0學習之模型的保存與恢復(Saver) ，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
將訓練好的模型參數保存起來，以便以后進行驗證或測試，這是我們經常要做的事情。tf里面提供模型保存的是tf.train.Saver()模塊。
模型保存，先要創(chuàng)建一個Saver對象：如
saver=tf.train.Saver()
在創(chuàng)建這個Saver對象的時候，有一個參數我們經常會用到，就是 max_to_keep 參數，這個是用來設置保存模型的個數，默認為5，即 max_to_keep=5，保存最近的5個模型。如果你想每訓練一代（epoch)就想保存一次模型，則可以將 max_to_keep設置為None或者0，如：
saver=tf.train.Saver(max_to_keep=0)
但是這樣做除了多占用硬盤，并沒有實際多大的用處，因此不推薦。
當然，如果你只想保存最后一代的模型，則只需要將max_to_keep設置為1即可，即
saver=tf.train.Saver(max_to_keep=1)
創(chuàng)建完saver對象后，就可以保存訓練好的模型了，如：
saver.save(sess,'ckpt/mnist.ckpt',global_step=step)
第一個參數sess,這個就不用說了。第二個參數設定保存的路徑和名字，第三個參數將訓練的次數作為后綴加入到模型名字中。
saver.save(sess, 'my-model', global_step=0) ==> filename: 'my-model-0'
...
saver.save(sess, 'my-model', global_step=1000) ==> filename: 'my-model-1000'
看一個mnist實例：
# -*- coding: utf-8 -*-
"""
Created on Sun Jun 4 10:29:48 2017
@author: Administrator
"""
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=False)
x = tf.placeholder(tf.float32, [None, 784])
y_=tf.placeholder(tf.int32,[None,])
dense1 = tf.layers.dense(inputs=x,
units=1024,
activation=tf.nn.relu,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
kernel_regularizer=tf.nn.l2_loss)
dense2= tf.layers.dense(inputs=dense1,
units=512,
activation=tf.nn.relu,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
kernel_regularizer=tf.nn.l2_loss)
logits= tf.layers.dense(inputs=dense2,
units=10,
activation=None,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
kernel_regularizer=tf.nn.l2_loss)
loss=tf.losses.sparse_softmax_cross_entropy(labels=y_,logits=logits)
train_op=tf.train.AdamOptimizer(learning_rate=0.001).minimize(loss)
correct_prediction = tf.equal(tf.cast(tf.argmax(logits,1),tf.int32), y_)
acc= tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
sess=tf.InteractiveSession()
sess.run(tf.global_variables_initializer())
saver=tf.train.Saver(max_to_keep=1)
for i in range(100):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
sess.close()
代碼中紅色部分就是保存模型的代碼，雖然我在每訓練完一代的時候，都進行了保存，但后一次保存的模型會覆蓋前一次的，最終只會保存最后一次。因此我們可以節(jié)省時間，將保存代碼放到循環(huán)之外（僅適用max_to_keep=1,否則還是需要放在循環(huán)內).
在實驗中，最后一代可能并不是驗證精度最高的一代，因此我們并不想默認保存最后一代，而是想保存驗證精度最高的一代，則加個中間變量和判斷語句就可以了。
saver=tf.train.Saver(max_to_keep=1)
max_acc=0
for i in range(100):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
if val_acc>max_acc:
max_acc=val_acc
saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
sess.close()
如果我們想保存驗證精度最高的三代，且把每次的驗證精度也隨之保存下來，則我們可以生成一個txt文件用于保存。
saver=tf.train.Saver(max_to_keep=3)
max_acc=0
f=open('ckpt/acc.txt','w')
for i in range(100):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
f.write(str(i+1)+', val_acc: '+str(val_acc)+'\n')
if val_acc>max_acc:
max_acc=val_acc
saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
f.close()
sess.close()
模型的恢復用的是restore()函數，它需要兩個參數restore(sess, save_path)，save_path指的是保存的模型路徑。我們可以使用tf.train.latest_checkpoint（）來自動獲取最后一次保存的模型。如：
model_file=tf.train.latest_checkpoint('ckpt/')
saver.restore(sess,model_file)
則程序后半段代碼我們可以改為：
sess=tf.InteractiveSession()
sess.run(tf.global_variables_initializer())
is_train=False
saver=tf.train.Saver(max_to_keep=3)
#訓練階段
if is_train:
max_acc=0
f=open('ckpt/acc.txt','w')
for i in range(100):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
f.write(str(i+1)+', val_acc: '+str(val_acc)+'\n')
if val_acc>max_acc:
max_acc=val_acc
saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
f.close()
#驗證階段
else:
model_file=tf.train.latest_checkpoint('ckpt/')
saver.restore(sess,model_file)
val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
print('val_loss:%f, val_acc:%f'%(val_loss,val_acc))
sess.close()
標紅的地方，就是與保存、恢復模型相關的代碼。用一個bool型變量is_train來控制訓練和驗證兩個階段。
整個源程序：
# -*- coding: utf-8 -*-
"""
Created on Sun Jun 4 10:29:48 2017
@author: Administrator
"""
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=False)
x = tf.placeholder(tf.float32, [None, 784])
y_=tf.placeholder(tf.int32,[None,])
dense1 = tf.layers.dense(inputs=x,
units=1024,
activation=tf.nn.relu,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
kernel_regularizer=tf.nn.l2_loss)
dense2= tf.layers.dense(inputs=dense1,
units=512,
activation=tf.nn.relu,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
kernel_regularizer=tf.nn.l2_loss)
logits= tf.layers.dense(inputs=dense2,
units=10,
activation=None,
kernel_initializer=tf.truncated_normal_initializer(stddev=0.01),
kernel_regularizer=tf.nn.l2_loss)
loss=tf.losses.sparse_softmax_cross_entropy(labels=y_,logits=logits)
train_op=tf.train.AdamOptimizer(learning_rate=0.001).minimize(loss)
correct_prediction = tf.equal(tf.cast(tf.argmax(logits,1),tf.int32), y_)
acc= tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
sess=tf.InteractiveSession()
sess.run(tf.global_variables_initializer())
is_train=True
saver=tf.train.Saver(max_to_keep=3)
#訓練階段
if is_train:
max_acc=0
f=open('ckpt/acc.txt','w')
for i in range(100):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_op, feed_dict={x: batch_xs, y_: batch_ys})
val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
print('epoch:%d, val_loss:%f, val_acc:%f'%(i,val_loss,val_acc))
f.write(str(i+1)+', val_acc: '+str(val_acc)+'\n')
if val_acc>max_acc:
max_acc=val_acc
saver.save(sess,'ckpt/mnist.ckpt',global_step=i+1)
f.close()
#驗證階段
else:
model_file=tf.train.latest_checkpoint('ckpt/')
saver.restore(sess,model_file)
val_loss,val_acc=sess.run([loss,acc], feed_dict={x: mnist.test.images, y_: mnist.test.labels})
print('val_loss:%f, val_acc:%f'%(val_loss,val_acc))
sess.close()
參考文章：http://www.fzitv.net/article/138779.htm
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
Python PyQt5實戰(zhàn)項目之網速監(jiān)控器的實現
PyQt5以一套Python模塊的形式來實現功能。它包含了超過620個類，600個方法和函數。它是一個多平臺的工具套件，它可以運行在所有的主流操作系統(tǒng)中，包含Unix，Windows和Mac OS。PyQt5采用雙重許可模式。開發(fā)者可以在GPL和社區(qū)授權之間選擇2021-11-11
這篇文章主要介紹了Python shelve模塊實現解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08
這篇文章主要介紹了在Python程序中解析并修改XML內容的方法,依賴于解析成樹狀結構后的節(jié)點進行修改,需要的朋友可以參考下2015-11-11
解決Pycharm 中遇到Unresolved reference ''sklearn''的問題
這篇文章主要介紹了解決Pycharm 中遇到Unresolved reference 'sklearn'的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
這篇文章主要介紹了django 按時間范圍查詢數據庫實例代碼，分享了相關代碼示例，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下2018-02-02
正則表達式本身是一種小型的、高度專業(yè)化的編程語言，下面這篇文章主要給大家介紹了關于python利用正則表達式實現搜索單詞的相關資料，文中給出了詳細的示例代碼，需要的朋友可以參考借鑒，下面來一起看看吧。2017-09-09
這篇文章主要介紹了Python繪制詞云圖之可視化神器pyecharts，文章圍繞主題展開詳細的相關內容，具有一定的參考價值，需要的小伙伴可以參考一下2022-07-07
在Linux下使用Python的matplotlib繪制數據圖的教程
這篇文章主要介紹了在Linux下使用Python的matplotlib繪制數據圖的教程,matplotlib基于Numpy進行科學計算上的延伸,需要的朋友可以參考下2015-06-06
這篇文章主要為大家詳細介紹了python求解數組中兩個字符串的最小距離，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-09-09
這篇文章主要介紹了詳解用Python調用百度地圖正/逆地理編碼API，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-07-07