快捷導(dǎo)航

pytorch_pretrained_bert如何將tensorflow模型轉(zhuǎn)化為pytorch模型

更新時(shí)間：2021年06月07日 09:29:24 作者：樂清sss

這篇文章主要介紹了pytorch_pretrained_bert將tensorflow模型轉(zhuǎn)化為pytorch模型的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教

pytorch_pretrained_bert將tensorflow模型轉(zhuǎn)化為pytorch模型

BERT倉庫里的模型是TensorFlow版本的，需要進(jìn)行相應(yīng)的轉(zhuǎn)換才能在pytorch中使用

在Google BERT倉庫里下載需要的模型，這里使用的是中文預(yù)訓(xùn)練模型(chinese_L-12_H-768_A_12)

在這里插入圖片描述

下載chinese_L-12_H-768_A-12.zip后解壓，里面有5個(gè)文件

chinese_L-12_H-768_A-12.zip后解壓，里面有5個(gè)文件

bert_config.json

bert_model.ckpt.data-00000-of-00001

bert_model.ckpt.index

bert_model.ckpt.meta

vocab.txt

使用bert倉庫里的convert_bert_original_tf_checkpoint_to_pytorch.py將此模型轉(zhuǎn)化為pytorch版本的，這里我的文件夾位置為：D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12，替換為自己的即可

python convert_tf_checkpoint_to_pytorch.py --tf_checkpoint_path D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\bert_model.ckpt --bert_config_file D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\bert_config.json --pytorch_dump_path D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\pytorch_model.bin

注：這里讓我疑惑的是模型有5個(gè)文件，為什么轉(zhuǎn)化的時(shí)候使用的是bert_model.ckpt，而且這個(gè)文件也不存在呀，是我對(duì)TensorFlow的模型不太熟悉，查閱資料之后將5個(gè)文件的作用說明如下：

$ tree chinese_L-12_H-768_A-12/
chinese_L-12_H-768_A-12/
├── bert_config.json                     <- 模型配置文件
├── bert_model.ckpt.data-00000-of-00001  <- 保存斷點(diǎn)文件列表，可以用來迅速查找最近一次的斷點(diǎn)文件
├── bert_model.ckpt.index                <- 為數(shù)據(jù)文件提供索引，存儲(chǔ)的核心內(nèi)容是以tensor name為鍵以BundleEntry為值的表格entries，BundleEntry主要內(nèi)容是權(quán)值的類型、形狀、偏移、校驗(yàn)和等信息。
├── bert_model.ckpt.meta                 <- 是MetaGraphDef序列化的二進(jìn)制文件，保存了網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的數(shù)據(jù)，包括graph_def和saver_def等
└── vocab.txt                            <- 模型詞匯表文件

0 directories, 5 files

在調(diào)用模型時(shí)使用chinese_L-12_H-768_A-12\bert_model.ckpt即可。