快捷導(dǎo)航

Keras: model實(shí)現(xiàn)固定部分layer,訓(xùn)練部分layer操作

更新時間：2020年06月28日 14:31:05 作者：誰會治腳氣請聯(lián)系我

這篇文章主要介紹了Keras: model實(shí)現(xiàn)固定部分layer,訓(xùn)練部分layer操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

需求：Resnet50做調(diào)優(yōu)訓(xùn)練，將最后分類數(shù)目由1000改為500。

問題：網(wǎng)上下載了resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5，更改了Resnet50后，由于所有層均參加訓(xùn)練，導(dǎo)致訓(xùn)練速度慢。實(shí)際上只需要訓(xùn)練最后3層，前面的層都不需要訓(xùn)練。

解決辦法：

①將模型拆分為兩個模型，一個為前面的notop部分，一個為最后三層，然后利用model的trainable屬性設(shè)置只有后一個model訓(xùn)練，最后將兩個模型合并起來。

②不用拆分，遍歷模型的所有層，將前面層的trainable設(shè)置為False即可。代碼如下：

for layer in model.layers[:-3]:
 print(layer.trainable)
 layer.trainable = False

注意事項(xiàng)：

①盡量不要這樣：

layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)

因?yàn)槿菀壮鲥e。。。

②加載notop參數(shù)時注意by_name=True.

補(bǔ)充知識：Keras關(guān)于訓(xùn)練凍結(jié)部分層

設(shè)置凍結(jié)層有兩種方式。

（不推薦）是在搭建網(wǎng)絡(luò)時，直接將某層的trainable設(shè)置為false，例如:

layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)

在網(wǎng)絡(luò)搭建完成時，遍歷model.layer,然后將layer.trainable設(shè)置為False:

# 凍結(jié)網(wǎng)絡(luò)倒數(shù)的3層
for layer in model.layers[:-3]:
 print(layer.trainable)
 layer.trainable = False

也可以根據(jù)layer.name來確定哪些層需要凍結(jié),例如凍結(jié)最后一層和RNN層：

for layer in model.layers:
 layerName=str(layer.name)
 if layerName.startswith("RNN_") or layerName.startswith("Final_"):
 layer.trainable=False

可以在實(shí)例化之后將網(wǎng)絡(luò)層的 trainable 屬性設(shè)置為 True 或 False。為了使之生效，在修改 trainable 屬性之后，需要在模型上調(diào)用 compile()。

這是一個例子

x = Input(shape=(32,))
layer = Dense(32)
layer.trainable = False
y = layer(x)
 
frozen_model = Model(x, y)
# 在下面的模型中，訓(xùn)練期間不會更新層的權(quán)重
frozen_model.compile(optimizer='rmsprop', loss='mse')
 
layer.trainable = True
trainable_model = Model(x, y)
# 使用這個模型，訓(xùn)練期間 `layer` 的權(quán)重將被更新
# (這也會影響上面的模型，因?yàn)樗褂昧送粋€網(wǎng)絡(luò)層實(shí)例)
trainable_model.compile(optimizer='rmsprop', loss='mse')
 
frozen_model.fit(data, labels) # 這不會更新 `layer` 的權(quán)重
trainable_model.fit(data, labels) # 這會更新 `layer` 的權(quán)重

在網(wǎng)絡(luò)搭建時，可以考慮最后一個分類層命名和分類數(shù)量關(guān)聯(lián)，這樣當(dāng)費(fèi)雷數(shù)量方式變化時，model.load_weight(“weight.h5”，by_name=True)不會加載最后一層

以上這篇Keras: model實(shí)現(xiàn)固定部分layer,訓(xùn)練部分layer操作就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: