pytorch中的embedding詞向量的使用方法
更新時間：2019年08月18日 12:09:06 作者：樂且有儀
今天小編就為大家分享一篇pytorch中的embedding詞向量的使用方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
Embedding
詞嵌入在 pytorch 中非常簡單，只需要調(diào)用 torch.nn.Embedding(m, n) 就可以了，m 表示單詞的總數(shù)目，n 表示詞嵌入的維度，其實(shí)詞嵌入就相當(dāng)于是一個大矩陣，矩陣的每一行表示一個單詞。
emdedding初始化
默認(rèn)是隨機(jī)初始化的
import torch from torch import nn from torch.autograd import Variable # 定義詞嵌入 embeds = nn.Embedding(2, 5) # 2 個單詞，維度 5 # 得到詞嵌入矩陣,開始是隨機(jī)初始化的 torch.manual_seed(1) embeds.weight # 輸出結(jié)果： Parameter containing: -0.8923 -0.0583 -0.1955 -0.9656 0.4224 0.2673 -0.4212 -0.5107 -1.5727 -0.1232 [torch.FloatTensor of size 2x5]
如果從使用已經(jīng)訓(xùn)練好的詞向量，則采用
pretrained_weight = np.array(args.pretrained_weight) # 已有詞向量的numpy self.embed.weight.data.copy_(torch.from_numpy(pretrained_weight))
embed的讀取
讀取一個向量。
注意參數(shù)只能是LongTensor型的
# 訪問第 50 個詞的詞向量 embeds = nn.Embedding(100, 10) embeds(Variable(torch.LongTensor([50]))) # 輸出： Variable containing: 0.6353 1.0526 1.2452 -1.8745 -0.1069 0.1979 0.4298 -0.3652 -0.7078 0.2642 [torch.FloatTensor of size 1x10]
讀取多個向量。
輸入為兩個維度(batch的大小，每個batch的單詞個數(shù))，輸出則在兩個維度上加上詞向量的大小。
Input: LongTensor (N, W), N = mini-batch, W = number of indices to extract per mini-batch Output: (N, W, embedding_dim)
見代碼
# an Embedding module containing 10 tensors of size 3 embedding = nn.Embedding(10, 3) # 每批取兩組，每組四個單詞 input = Variable(torch.LongTensor([[1,2,4,5],[4,3,2,9]])) a = embedding(input) # 輸出2*4*3 a[0],a[1]
輸出為：
(Variable containing: -1.2603 0.4337 0.4181 0.4458 -0.1987 0.4971 -0.5783 1.3640 0.7588 0.4956 -0.2379 -0.7678 [torch.FloatTensor of size 4x3], Variable containing: -0.5783 1.3640 0.7588 -0.5313 -0.3886 -0.6110 0.4458 -0.1987 0.4971 -1.3768 1.7323 0.4816 [torch.FloatTensor of size 4x3])
以上這篇pytorch中的embedding詞向量的使用方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python多繼承以及MRO順序的使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
python開發(fā)之a(chǎn)naconda以及win7下安裝gensim的方法
這篇文章主要介紹了python開發(fā)之a(chǎn)naconda以及win7下安裝gensim的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
使用Python做定時任務(wù)及時了解互聯(lián)網(wǎng)動態(tài)
這篇文章主要介紹了使用Python做定時任務(wù)及時了解互聯(lián)網(wǎng)動態(tài),需要的朋友可以參考下2019-05-05
這篇文章主要介紹了OpenCV基本操作之模板匹配，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-09-09
python tkinter之 復(fù)選、文本、下拉的實(shí)現(xiàn)
這篇文章主要介紹了python tkinter之 復(fù)選、文本、下拉的實(shí)現(xiàn)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
今天小編就為大家分享一篇python 判斷文件還是文件夾的簡單實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
Python批量上傳文件信息到服務(wù)器的實(shí)現(xiàn)示例
在進(jìn)行軟件測試的過程中,經(jīng)常會需要準(zhǔn)備一批數(shù)據(jù),本文主要介紹了Python批量上傳文件信息到服務(wù)器的實(shí)現(xiàn)示例,具有一定的參考價值,感興趣的可以了解一下2023-12-12
這篇文章主要介紹了Python畫圖練習(xí)案例分享，文章基于Python實(shí)現(xiàn)各種畫圖，具有一定的參考價值，感興趣的小伙伴可以參考一下2022-07-07
今天小編就為大家分享一篇python將txt文件讀入為np.array的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了Python繪圖之柱形圖繪制詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07