淺談keras使用中val_acc和acc值不同步的思考
在一個(gè)比較好的數(shù)據(jù)集中，比如在分辨不同文字的任務(wù)中，一下是幾個(gè)樣本
使用VGG19，vol_acc和acc基本是同步保持增長(zhǎng)的，比如
40/40 [==============================] - 23s 579ms/step - loss: 1.3896 - acc: 0.95 - val_loss: 1.3876 - val_acc: 0.95 Epoch 13/15 40/40 [==============================] - 23s 579ms/step - loss: 1.3829 - acc: 0.96 - val_loss: 1.3964 - val_acc: 0.96 Epoch 14/15 40/40 [==============================] - 23s 580ms/step - loss: 1.3844 - acc: 0.97 - val_loss: 1.3892 - val_acc: 0.97 Epoch 15/15 40/40 [==============================] - 24s 591ms/step - loss: 1.3833 - acc: 0.98 - val_loss: 1.4145 - val_acc: 0.98
這表明訓(xùn)練集和測(cè)試集同分布，在訓(xùn)練集中學(xué)習(xí)的特征確實(shí)可以應(yīng)用到測(cè)試集中，這是最好的情況。
通過(guò)觀察熱力圖也可以看到，最熱的地方集中在特征上。比如在分辨不同的文字。
但很多時(shí)候，自己建立的數(shù)據(jù)集并不完美，或者可能不同類的特征分辨并不明顯，這時(shí)候用cnn強(qiáng)行進(jìn)行分類就會(huì)出現(xiàn)很多奇葩的情況。
考慮一種極端的情況，比如有四個(gè)類，而四個(gè)類都是同樣的簡(jiǎn)單圖形
那么在學(xué)習(xí)過(guò)程中，會(huì)出現(xiàn)如下特征的acc和vol_acc
40/40 [==============================] - 23s 579ms/step - loss: 1.3896 - acc: 0.2547 - val_loss: 1.3876 - val_acc: 0.2500 Epoch 13/15 40/40 [==============================] - 23s 579ms/step - loss: 1.3829 - acc: 0.2844 - val_loss: 1.3964 - val_acc: 0.2281 Epoch 14/15 40/40 [==============================] - 23s 580ms/step - loss: 1.3844 - acc: 0.2922 - val_loss: 1.3892 - val_acc: 0.2469 Epoch 15/15 40/40 [==============================] - 24s 591ms/step - loss: 1.3833 - acc: 0.2578 - val_loss: 1.4145 - val_acc: 0.2500
從熱力圖上看
可以看到因?yàn)闆](méi)有什么特征，所有熱力圖分布也沒(méi)有規(guī)律，可以說(shuō)網(wǎng)絡(luò)什么都沒(méi)學(xué)到。
那么考慮中間的情況，比如很相似的類學(xué)習(xí)會(huì)怎么樣？比如不同年份的硬幣
40/40 [==============================] - 25s 614ms/step - loss: 0.0967 - acc: 0.9891 - val_loss: 0.3692 - val_acc: 0.8313 40/40 [==============================] - 23s 580ms/step - loss: 0.0476 - acc: 0.9953 - val_loss: 0.3994 - val_acc: 0.7906 40/40 [==============================] - 23s 578ms/step - loss: 0.0237 - acc: 0.9984 - val_loss: 0.5067 - val_acc: 0.7344 40/40 [==============================] - 23s 579ms/step - loss: 0.0184 - acc: 1.0000 - val_loss: 0.5192 - val_acc: 0.7531 40/40 [==============================] - 23s 582ms/step - loss: 0.0286 - acc: 0.9953 - val_loss: 0.9653 - val_acc: 0.6344 40/40 [==============================] - 23s 584ms/step - loss: 0.0138 - acc: 1.0000 - val_loss: 0.4780 - val_acc: 0.7688 40/40 [==============================] - 23s 583ms/step - loss: 0.0115 - acc: 0.9984 - val_loss: 0.5485 - val_acc: 0.7438 40/40 [==============================] - 23s 581ms/step - loss: 0.0096 - acc: 1.0000 - val_loss: 0.5658 - val_acc: 0.7406 40/40 [==============================] - 23s 578ms/step - loss: 0.0046 - acc: 1.0000 - val_loss: 0.5070 - val_acc: 0.7562
可以看到，雖然網(wǎng)絡(luò)有一定分辨力，但是學(xué)習(xí)的特征位置并不對(duì)，這可能是網(wǎng)絡(luò)的分辨力有限，或者數(shù)據(jù)集過(guò)小導(dǎo)致的，具體怎么解決還沒(méi)有想清楚？？可以看到，可以看到除非完全沒(méi)有特征，否則train acc一定能到100%，但是這個(gè)是事沒(méi)有意義的，這就是過(guò)擬合。
一開(kāi)始同步增長(zhǎng)，是在學(xué)習(xí)特征，后來(lái)volacc和acc開(kāi)始有差異，就是過(guò)擬合
這可能是訓(xùn)練集過(guò)小導(dǎo)致的，如果圖片中只有年份呢？
acc = 0.85,vol_acc=0.85 acc = 0.90,vol_acc=0.90 acc = 0.92,vol_acc=0.92 acc = 0.94,vol_acc=0.92
可以看到，還是能正確分類的，之所以硬幣不能正確分類，是因?yàn)橛?xùn)練數(shù)據(jù)集過(guò)小，其他特征掩蓋了年份的特征，只要增大數(shù)據(jù)量就行了。
另外。還有幾點(diǎn)訓(xùn)練技巧：
1、拓展函數(shù)不要怕極端，極端的拓展函數(shù)有利于學(xué)到目標(biāo)真正的特征。
2、使用灰度圖作為訓(xùn)練集？如果以紋理為主，使用灰度圖，灰度圖能增強(qiáng)網(wǎng)絡(luò)的魯棒性，因?yàn)榭梢詼p少光照的影響，但是會(huì)損失顏色信息，可以用結(jié)果看看到底該使用哪種圖？
3、使用小的分辨率圖片可能錯(cuò)過(guò)某些特征，尤其是在小數(shù)據(jù)集的時(shí)候，所以可能的話使用大數(shù)據(jù)集，或者提高分辨率，根據(jù)使用者的目標(biāo)。
以上這篇淺談keras使用中val_acc和acc值不同步的思考就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
跟老齊學(xué)Python之玩轉(zhuǎn)字符串(3)
字符串是一個(gè)很長(zhǎng)的話題，縱然現(xiàn)在開(kāi)始第三部分，但是也不能完全說(shuō)盡。因?yàn)樽址亲匀徽Z(yǔ)言中最復(fù)雜的東西，也是承載功能最多的，計(jì)算機(jī)高級(jí)語(yǔ)言編程，要解決自然語(yǔ)言中的問(wèn)題，讓自然語(yǔ)言中完成的事情在計(jì)算機(jī)上完成，所以，也不得不有更多的話題。2014-09-09
python使用socket制作聊天室詳細(xì)源碼(可以直接運(yùn)行)
Python是一個(gè)非常靈活的編程語(yǔ)言,我們現(xiàn)在到處可見(jiàn)用Python編寫的應(yīng)用程序,下面這篇文章主要給大家介紹了關(guān)于python使用socket制作聊天室的相關(guān)資料,文中的代碼可以直接運(yùn)行,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了python 連接列表的八種方法，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-03-03
tensorflow基本操作小白快速構(gòu)建線性回歸和分類模型
這篇文章主要介紹了tensorflow基本操作,快速構(gòu)建線性回歸和分類模型,圖文代碼示例非常詳細(xì)，有需要的朋友可以借鑒參考下，希望可以對(duì)大家有所幫助2021-08-08
對(duì)python3 Serial 串口助手的接收讀取數(shù)據(jù)方法詳解
今天小編就為大家分享一篇對(duì)python3 Serial 串口助手的接收讀取數(shù)據(jù)方法詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
jupyter代碼塊沒(méi)有運(yùn)行圖標(biāo)的解決方案
這篇文章主要介紹了jupyter代碼塊沒(méi)有運(yùn)行圖標(biāo)的解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-04-04
django authenticate用戶身份認(rèn)證的項(xiàng)目實(shí)踐
Django的contrib.auth模塊中的authenticate()函數(shù)用于對(duì)用戶的憑據(jù)進(jìn)行身份驗(yàn)證,本文就來(lái)介紹一下django authenticate用戶身份認(rèn)證的使用,具有一定的參考價(jià)值,感興趣的可以了解一下2023-08-08
淺談pytorch中torch.max和F.softmax函數(shù)的維度解釋
這篇文章主要介紹了淺談pytorch中torch.max和F.softmax函數(shù)的維度解釋，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
這篇文章主要介紹了pandas抽取行列數(shù)據(jù)的幾種方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
這篇文章主要介紹了python繼承和抽象類的實(shí)現(xiàn)方法,實(shí)例分析了Python針對(duì)類的繼承及抽象類的定義及使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-01-01