python神經(jīng)網(wǎng)絡(luò)Keras實現(xiàn)LSTM及其參數(shù)量詳解
什么是LSTM
1、LSTM的結(jié)構(gòu)
我們可以看出，在n時刻，LSTM的輸入有三個：
- 當前時刻網(wǎng)絡(luò)的輸入值Xt；
- 上一時刻LSTM的輸出值ht-1；
- 上一時刻的單元狀態(tài)Ct-1。
LSTM的輸出有兩個：
- 當前時刻LSTM輸出值ht；
- 當前時刻的單元狀態(tài)Ct。
2、LSTM獨特的門結(jié)構(gòu)
LSTM用兩個門來控制單元狀態(tài)cn的內(nèi)容：
- 遺忘門（forget gate），它決定了上一時刻的單元狀態(tài)cn-1有多少保留到當前時刻；
- 輸入門（input gate），它決定了當前時刻網(wǎng)絡(luò)的輸入c’n有多少保存到新的單元狀態(tài)cn中。
LSTM用一個門來控制當前輸出值hn的內(nèi)容：
輸出門（output gate），它利用當前時刻單元狀態(tài)cn對hn的輸出進行控制。
3、LSTM參數(shù)量計算
a、遺忘門
遺忘門這里需要結(jié)合ht-1和Xt來決定上一時刻的單元狀態(tài)cn-1有多少保留到當前時刻；
由圖我們可以得到，我們在這一環(huán)節(jié)需要計一個參數(shù)ft。
b、輸入門
輸入門這里需要結(jié)合ht-1和Xt來決定當前時刻網(wǎng)絡(luò)的輸入c’n有多少保存到單元狀態(tài)cn中。
由圖我們可以得到，我們在這一環(huán)節(jié)需要計算兩個參數(shù)，分別是it。
和C’t
里面需要訓練的參數(shù)分別是Wi、bi、WC和bC。
在定義LSTM的時候我們會使用到一個參數(shù)叫做units，其實就是神經(jīng)元的個數(shù)，也就是LSTM的輸出——ht的維度。
所以：
c、輸出門
輸出門利用當前時刻單元狀態(tài)cn對hn的輸出進行控制；
由圖我們可以得到，我們在這一環(huán)節(jié)需要計一個參數(shù)ot。
里面需要訓練的參數(shù)分別是Wo和bo。在定義LSTM的時候我們會使用到一個參數(shù)叫做units，其實就是神經(jīng)元的個數(shù)，也就是LSTM的輸出——ht的維度。所以：
d、全部參數(shù)量
所以所有的門總參數(shù)量為：
在Keras中實現(xiàn)LSTM
LSTM一般需要輸入兩個參數(shù)。
一個是unit、一個是input_shape。
LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))
unit用于指定神經(jīng)元的數(shù)量。
input_shape用于指定輸入的shape，分別指定TIME_STEPS和INPUT_SIZE。
實現(xiàn)代碼
import numpy as np
from keras.models import Sequential
from keras.layers import Input,Activation,Dense
from keras.models import Model
from keras.datasets import mnist
from keras.layers.recurrent import LSTM
from keras.utils import np_utils
from keras.optimizers import Adam
TIME_STEPS = 28
INPUT_SIZE = 28
BATCH_SIZE = 50
index_start = 0
OUTPUT_SIZE = 10
CELL_SIZE = 75
LR = 1e-3
(X_train,Y_train),(X_test,Y_test) = mnist.load_data()
X_train = X_train.reshape(-1,28,28)/255
X_test = X_test.reshape(-1,28,28)/255
Y_train = np_utils.to_categorical(Y_train,num_classes= 10)
Y_test = np_utils.to_categorical(Y_test,num_classes= 10)
inputs = Input(shape=[TIME_STEPS,INPUT_SIZE])
x = LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))(inputs)
x = Dense(OUTPUT_SIZE)(x)
x = Activation("softmax")(x)
model = Model(inputs,x)
adam = Adam(LR)
model.summary()
model.compile(loss = 'categorical_crossentropy',optimizer = adam,metrics = ['accuracy'])
for i in range(50000):
X_batch = X_train[index_start:index_start + BATCH_SIZE,:,:]
Y_batch = Y_train[index_start:index_start + BATCH_SIZE,:]
index_start += BATCH_SIZE
cost = model.train_on_batch(X_batch,Y_batch)
if index_start >= X_train.shape[0]:
index_start = 0
if i%100 == 0:
cost,accuracy = model.evaluate(X_test,Y_test,batch_size=50)
print("accuracy:",accuracy)
實現(xiàn)效果：
10000/10000 [==============================] - 3s 340us/step accuracy: 0.14040000014007092 10000/10000 [==============================] - 3s 310us/step accuracy: 0.6507000041007995 10000/10000 [==============================] - 3s 320us/step accuracy: 0.7740999992191792 10000/10000 [==============================] - 3s 305us/step accuracy: 0.8516999959945679 10000/10000 [==============================] - 3s 322us/step accuracy: 0.8669999945163727 10000/10000 [==============================] - 3s 324us/step accuracy: 0.889699995815754 10000/10000 [==============================] - 3s 307us/step
以上就是python神經(jīng)網(wǎng)絡(luò)Keras實現(xiàn)LSTM及其參數(shù)量詳解的詳細內(nèi)容，更多關(guān)于Keras實現(xiàn)LSTM參數(shù)量的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要介紹了Python設(shè)計模式之MVC模式,簡單介紹了MVC模式的概念、原理,并結(jié)合實例形式給出了Python實現(xiàn)與使用MVC模式的相關(guān)操作技巧,需要的朋友可以參考下2018-01-01
Django 權(quán)限管理(permissions)與用戶組(group)詳解
這篇文章主要介紹了Django 權(quán)限管理(permissions)與用戶組(group)詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
下面小編就為大家?guī)硪黄猵ython語言使用技巧分享。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-05-05
這篇文章主要介紹了python關(guān)于逆序輸出留空格的方法,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
Lambda是一種匿名函數(shù)，當我們需要重復調(diào)用某一函數(shù)，又不想寫那么多代碼時可以使用lambda表達式來代替。本文給大家介紹Python中 Lambda表達式，需要的朋友一起學習吧2016-11-11
正則表達式是一個很有用的工具，可處理復雜的字符匹配和替換工作。在Python中內(nèi)置了一個re模塊以支持正則表達式。本文我們就來詳細探討下Python中正則表達式。2014-10-10
關(guān)于Python中空格字符串處理的技巧總結(jié)
在我們?nèi)粘９ぷ髦薪?jīng)常會遇到字符串處理，大家應(yīng)該都不陌生，但空格字符串呢？會不會就不太熟悉了呢？所以下面這篇文章就來給大家總結(jié)了關(guān)于Python中空格字符串處理的技巧，需要的朋友可以參考借鑒，下面來一起看看吧。2017-08-08
本文主要介紹了pandas中DataFrame多層索引的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-12-12
這篇文章主要給大家介紹了關(guān)于python中多個裝飾器的調(diào)用順序，文中通過示例代碼介紹的非常詳細，對大家學習或者使用Python具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2019-07-07
本文從系統(tǒng)提供的內(nèi)部函數(shù)、第三方提供函數(shù)庫+簡單爬出代碼及安裝httplib2模塊過程和用戶自定函數(shù)三個方面進行講述。具有很好的參考價值。下面跟著小編一起來看下吧2017-03-03