快捷導(dǎo)航

Python實(shí)現(xiàn)word2Vec model過(guò)程解析

更新時(shí)間：2019年12月16日 12:02:01 作者：Leslie_Chan

這篇文章主要介紹了Python實(shí)現(xiàn)word2Vec model過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'
if os.path.exists(fname):
  # load the file if it has already been trained, to save repeating the slow training step below
  model = gensim.models.Word2Vec.load(fname)
else:
  # can take a few minutes, grab a cuppa
  model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
  model.save(fname)

words = "woman women man girl boy green blue".split()
for w1 in words:
  for w2 in words:
    print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl

在gensim模塊中已經(jīng)封裝了13年提出的model--word2vec，所以我們直接開始建立模型

這是建立模型的過(guò)程，最后會(huì)出現(xiàn)saving Word2vec的語(yǔ)句，代表已經(jīng)成功建立了模型

這是輸入了 gorvement和news關(guān)鍵詞后所反饋的詞語(yǔ) --- administration，他們之間的相關(guān)性是0.508

當(dāng)我在輸入 women 和 man ，他們顯示的相關(guān)性的0.638 ，已經(jīng)是非常高的一個(gè)數(shù)字。

值得一提的是，我用的語(yǔ)料庫(kù)是直接從nltk里的brown語(yǔ)料庫(kù)。其中大概包括了一些新聞之類的數(shù)據(jù)。

大家如果感興趣的話，可以自己建立該模型，通過(guò)傳入不同的語(yǔ)料庫(kù)，來(lái)calc 一些term的相關(guān)性噢

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python數(shù)據(jù)庫(kù)自動(dòng)化完整指南
本指南詳細(xì)講解如何使用Python操作MySQL、Oracle和Microsoft?SQL?Server數(shù)據(jù)庫(kù),涵蓋常用庫(kù)、基礎(chǔ)操作、高級(jí)功能及完整代碼示例,需要的朋友可以參考下
2025-03-03
Python進(jìn)程multiprocessing.Process()的使用解讀
這篇文章主要介紹了Python進(jìn)程multiprocessing.Process()的使用,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-02-02
python xml模塊的簡(jiǎn)單使用
這篇文章主要介紹了python xml模塊的簡(jiǎn)單使用，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
2021-03-03
python:接口間數(shù)據(jù)傳遞與調(diào)用方法
今天小編就為大家分享一篇python:接口間數(shù)據(jù)傳遞與調(diào)用方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-12-12
python實(shí)現(xiàn)簡(jiǎn)易聊天室(Linux終端)
這篇文章主要為大家詳細(xì)介紹了Linux終端上python實(shí)現(xiàn)簡(jiǎn)易聊天室功能，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-07-07
Python調(diào)用ChatGPT制作基于Tkinter的桌面時(shí)鐘
這篇文章主要為大家詳細(xì)介紹了Python如何調(diào)用ChatGPT制作基于Tkinter的桌面時(shí)鐘，文中的示例代碼講解詳細(xì)，感興趣的可以了解一下
2023-03-03
python數(shù)據(jù)操作之lambda表達(dá)式詳情
這篇文章主要介紹了python數(shù)據(jù)操作之lambda表達(dá)式詳情，文章基于python的相關(guān)資料展開lambda表達(dá)式具體的內(nèi)容，感興趣的小伙伴可以參考一下
2022-05-05
python機(jī)器人行走步數(shù)問(wèn)題的解決
這篇文章主要為大家詳細(xì)介紹了python機(jī)器人行走步數(shù)問(wèn)題的解決，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-01-01
Django模板語(yǔ)法、請(qǐng)求與響應(yīng)的案例詳解
本文主要介紹了Django的模板語(yǔ)法、請(qǐng)求與響應(yīng),包括如何創(chuàng)建和渲染模板文件、傳參機(jī)制、靜態(tài)文件的引入以及如何處理GET和POST請(qǐng)求,通過(guò)綜合小案例,展示了如何使用Django實(shí)現(xiàn)一個(gè)簡(jiǎn)單的登錄頁(yè)面并根據(jù)用戶名密碼進(jìn)行驗(yàn)證,感興趣的朋友跟隨小編一起看看
2025-01-01
徹底搞懂 python 中文亂碼問(wèn)題(深入分析)
現(xiàn)在有的小伙伴為了躲避中文亂碼的問(wèn)題甚至代碼中不使用中文，注釋和提示都用英文，我曾經(jīng)也這樣干過(guò)，但這并不是解決問(wèn)題，而是逃避問(wèn)題，今天我們一起徹底解決 Python 中文亂碼的問(wèn)題
2020-02-02