快捷導(dǎo)航

Tensorflow中的dropout的使用方法

更新時(shí)間：2020年03月13日 08:39:44 作者：AGUILLER

這篇文章主要介紹了Tensorflow中的dropout的使用方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

Hinton在論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出了Dropout。Dropout用來(lái)防止神經(jīng)網(wǎng)絡(luò)的過(guò)擬合。Tensorflow中可以通過(guò)如下3中方式實(shí)現(xiàn)dropout。

tf.nn.dropout

def dropout(x, keep_prob, noise_shape=None, seed=None, name=None):

其中，x為浮點(diǎn)類型的tensor，keep_prob為浮點(diǎn)類型的scalar，范圍在(0,1]之間，表示x中的元素被保留下來(lái)的概率，noise_shape為一維的tensor（int32類型），表示標(biāo)記張量的形狀（representing the shape for randomly generated keep/drop flags），并且noise_shape指定的形狀必須對(duì)x的形狀是可廣播的。如果x的形狀是[k, l, m, n]，并且noise_shape為[k, l, m, n]，那么x中的每一個(gè)元素是否保留都是獨(dú)立，但如果x的形狀是[k, l, m, n]，并且noise_shape為[k, 1, 1, n]，則x中的元素沿著第0個(gè)維度第3個(gè)維度以相互獨(dú)立的概率保留或者丟棄，而元素沿著第1個(gè)維度和第2個(gè)維度要么同時(shí)保留，要么同時(shí)丟棄。

關(guān)于Tensorflow中的廣播機(jī)制，可以參考《TensorFlow 和 NumPy 的 Broadcasting 機(jī)制探秘》

最終，會(huì)輸出一個(gè)與x形狀相同的張量ret，如果x中的元素被丟棄，則在ret中的對(duì)應(yīng)位置元素為0，如果x中的元素被保留，則在ret中對(duì)應(yīng)位置上的值為，這么做是為了使得ret中的元素之和等于x中的元素之和。

tf.layers.dropout

def dropout(inputs,
   rate=0.5,
   noise_shape=None,
   seed=None,
   training=False,
   name=None):

參數(shù)inputs為輸入的張量，與tf.nn.dropout的參數(shù)keep_prob不同，rate指定元素被丟棄的概率，如果rate=0.1，則inputs中10%的元素將被丟棄，noise_shape與tf.nn.dropout的noise_shape一致，training參數(shù)用來(lái)指示當(dāng)前階段是出于訓(xùn)練階段還是測(cè)試階段，如果training為true（即訓(xùn)練階段），則會(huì)進(jìn)行dropout，否則不進(jìn)行dropout，直接返回inputs。

自定義稀疏張量的dropout

上述的兩種方法都是針對(duì)dense tensor的dropout，但有的時(shí)候，輸入可能是稀疏張量，仿照tf.nn.dropout和tf.layers.dropout的內(nèi)部實(shí)現(xiàn)原理，自定義稀疏張量的dropout。

def sparse_dropout(x, keep_prob, noise_shape):
 keep_tensor = keep_prob + tf.random_uniform(noise_shape)
 drop_mask = tf.cast(tf.floor(keep_tensor), dtype=tf.bool)
 out = tf.sparse_retain(x, drop_mask)
 return out * (1.0/keep_prob)

其中，參數(shù)x和keep_prob與tf.nn.dropout一致，noise_shape為x中非空元素的個(gè)數(shù)，如果x中有4個(gè)非空值，則noise_shape為[4]，keep_tensor的元素為[keep_prob, 1.0 + keep_prob)的均勻分布，通過(guò)tf.floor向下取整得到標(biāo)記張量drop_mask，tf.sparse_retain用于在一個(gè) SparseTensor 中保留指定的非空值。

案例

def nn_dropout(x, keep_prob, noise_shape):
 out = tf.nn.dropout(x, keep_prob, noise_shape)
 return out


def layers_dropout(x, keep_prob, noise_shape, training=False):
 out = tf.layers.dropout(x, keep_prob, noise_shape, training=training)
 return out


def sparse_dropout(x, keep_prob, noise_shape):
 keep_tensor = keep_prob + tf.random_uniform(noise_shape)
 drop_mask = tf.cast(tf.floor(keep_tensor), dtype=tf.bool)
 out = tf.sparse_retain(x, drop_mask)
 return out * (1.0/keep_prob)


if __name__ == '__main__':
 inputs1 = tf.SparseTensor(indices=[[0, 0], [0, 2], [1, 1], [1, 2]], values=[1.0, 2.0, 3.0, 4.0], dense_shape=[2, 3])
 inputs2 = tf.sparse_tensor_to_dense(inputs1)
 nn_d_out = nn_dropout(inputs2, 0.5, [2, 3])
 layers_d_out = layers_dropout(inputs2, 0.5, [2, 3], training=True)
 sparse_d_out = sparse_dropout(inputs1, 0.5, [4])
 with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  (in1, in2) = sess.run([inputs1, inputs2])
  print(in1)
  print(in2)
  (out1, out2, out3) = sess.run([nn_d_out, layers_d_out, sparse_d_out])
  print(out1)
  print(out2)
  print(out3)

tensorflow中，稀疏張量為SparseTensor，稀疏張量的值為SparseTensorValue。3種dropout的輸出如下，

SparseTensorValue(indices=array([[0, 0],
  [0, 2],
  [1, 1],
  [1, 2]], dtype=int64), values=array([ 1., 2., 3., 4.], dtype=float32), dense_shape=array([2, 3], dtype=int64))
[[ 1. 0. 2.]
 [ 0. 3. 4.]]
 
[[ 2. 0. 0.]
 [ 0. 0. 0.]]
[[ 0. 0. 4.]
 [ 0. 0. 0.]]
SparseTensorValue(indices=array([], shape=(0, 2), dtype=int64), values=array([], dtype=float32), dense_shape=array([2, 3], dtype=int64))

到此這篇關(guān)于Tensorflow中的dropout的使用方法的文章就介紹到這了,更多相關(guān)Tensorflow dropout內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: