keras之權(quán)重初始化方式
在神經(jīng)網(wǎng)絡訓練中，好的權(quán)重 初始化會加速訓練過程。
下面說一下kernel_initializer 權(quán)重初始化的方法。
不同的層可能使用不同的關鍵字來傳遞初始化方法，一般來說指定初始化方法的關鍵字是kernel_initializer 和 bias_initializer
model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01))) # also works; will use the default parameters. model.add(Dense(64, kernel_initializer='random_normal'))
幾種初始化方法
keras.initializers.Zeros()#全0 keras.initializers.Ones()#全1 keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))#指定均值和方差的正態(tài)分布初始化 keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)#指定下邊界和上邊界的均勻分布初始化 keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)#截尾高斯分布初始化，位于均值兩個標準差以外的數(shù)據(jù)將會被丟棄并重新生成，形成截尾分布
自定義初始化
def my_init(shape, dtype=None): return K.random_normal(shape, dtype=dtype) model.add(Dense(64, init=my_init))
補充知識：Keras中權(quán)重weight的初始化
Keras 的原始構(gòu)造模塊是模型，最簡單的模型稱為序貫模型， Keras 的序貫模型是神經(jīng)網(wǎng)絡層的線性管道 （ 堆棧） 。
以下代碼段定義了 一個包含 12 個人工神經(jīng)元的單層 網(wǎng)絡，它預計有 8 個輸入變量 （ 也稱為特征）：
from keras.models import Sequential model =Sequential() model.add(12,input_dim=8,kernel_initializer='random_uniform')
每個神經(jīng)元可以用特定的權(quán)重進行初始化 。 Keras 提供了 幾個選擇 ， 其中最常用的選擇如下所示。
random_unifrom：權(quán)重被初始化為（-0.5，0.5）之間的均勻隨機的微小數(shù)值，換句話說，給定區(qū)間里的任何值都可能作為權(quán)重 。
random_normal：根據(jù)高斯分布初始化權(quán)重，其中均值為0，標準差為0.05。
zero：所有權(quán)重被初始化為0。
以上這篇keras之權(quán)重初始化方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Python已解決NameError: name ‘xxx‘ is not&nb
本文主要介紹了Python已解決NameError: name ‘xxx‘ is not defined,解決報錯NameError: name 'xxx' is not defined的關鍵在于仔細檢查拼寫、作用域和賦值等問題,感興趣的可以了解一下2024-06-06
Pandas 合并多個Dataframe(merge,concat)的方法
今天小編就為大家分享一篇Pandas 合并多個Dataframe(merge,concat)的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
在本篇文章里小編給大家整理了一篇關于Python特征降維知識點總結(jié)內(nèi)容，有需要的朋友們可以學習參考下。2021-08-08
下面小編就為大家?guī)硪黄Ｒ妏ython正則用法的簡單實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-06-06
python第三方庫subprocess執(zhí)行cmd同時輸入密碼獲取參數(shù)
本文給大家介紹python subprocess執(zhí)行cmd同時輸入密碼獲取參數(shù),手動輸入cmd命令,本文給大家逐一介紹這個命令的使用方法,感興趣的朋友跟隨小編一起看看吧2024-01-01
本篇文章給大家總結(jié)了關于Python爬蟲工程師面試問題總結(jié)，希望我們整理的內(nèi)容能夠幫助到大家。2018-03-03
這篇文章主要為大家介紹了5種Python單例模式的實現(xiàn)方式，所謂單例，是指一個類的實例從始至終只能被創(chuàng)建一次，對單例感興趣的小伙伴們可以參考一下2016-01-01
python?manage.py?createsuperuser運行錯誤問題解決
這篇文章主要介紹了python?manage.py?createsuperuser運行錯誤,本文給大家分享錯誤復現(xiàn)及解決方案，感興趣的朋友一起看看吧2023-10-10
python中的TCP(傳輸控制協(xié)議)用法實例分析
這篇文章主要介紹了python中的TCP(傳輸控制協(xié)議)用法,結(jié)合完整實例形式分析了Python基于TCP協(xié)議的服務器端與客戶端相關實現(xiàn)技巧及操作注意事項,需要的朋友可以參考下2019-11-11
這篇文章主要介紹了Python基于pillow判斷圖片完整性的方法,結(jié)合實例形式簡單分析了pillow的安裝及圖片完整性判斷的相關操作技巧,需要的朋友可以參考下2016-09-09