快捷導(dǎo)航

Python英文文章詞頻統(tǒng)計(jì)(14份劍橋真題詞頻統(tǒng)計(jì))

更新時(shí)間：2019年10月13日 15:26:26 作者：予微胡不歸

這篇文章主要介紹了Python英文文章詞頻統(tǒng)計(jì)(14份劍橋真題詞頻統(tǒng)計(jì))，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

Python劍橋真題詞頻統(tǒng)計(jì)

最好還是要學(xué)以致用，自主搜集了19年最近的14份劍橋真題之后，通過Python提供的jieba第三方庫(kù)，對(duì)所有的文章信息進(jìn)行了詞頻統(tǒng)計(jì)，并選擇性地剔除了部分簡(jiǎn)易詞匯，比如數(shù)字，普通冠詞等，博主較懶，未清楚干凈。

Python代碼如下：

import jieba
# 以只讀方式打開text（即真題庫(kù)）
text = open('text.txt', 'r', encoding = 'utf-8').read()
# len(text)

#統(tǒng)一為小寫 
text = text.lower()

# 需要剔除的詞匯列表，也可以用記事本的形式，添加一個(gè)打開記事本的語(yǔ)句即可
# 即 stwlist = [line.strip() for line in open 'stopwords.txt',encoding='utf-8').readlines()]
# 這里使用列表
stwlist = ['the','a','of','to','end','in','you','is','that','for','on','it','as','your','...','14',
      'this','or','20','40','27','30','13','21','26','10','15','22',
      '32','31','1','2','4','5','6','7','8','9','0','10','11','12','13',
      '12','13','15','16','17','25','33','35','36','18','23','19','24',
      '38','29','34','37','000','...............................']

# 先進(jìn)行分詞
words = jieba.cut(text, cut_all = False, HMM = True)
#cut_all:是否采用全模式
#HMM：是否采用HMM模型

word_ = {}
for word in words:
  if (word.strip() not in stwlist):
    if len(word) > 1:
      if word != '\t':
        if word != '\r\n':
 # 計(jì)算詞頻
          if word in word_:
            word_[word] += 1
          else:
            word_[word] = 1

# 將結(jié)果保存為元組
word_freq = []
for word, freq in word_.items():
  word_freq.append((word, freq))

# 降序排列
word_freq.sort(key = lambda x:x[1], reverse = True)

#輸出前3500個(gè)詞匯
for i in range(3500):
  word, freq = word_freq[i]
  print('{0:10}{1:5}'.format(word, freq))

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

手把手教你Python抓取數(shù)據(jù)并可視化
很多小伙伴在提到python數(shù)據(jù)可視化的時(shí)候第一反應(yīng)就是matplotlib庫(kù),但實(shí)際上python還有很多很好用的數(shù)據(jù)可視化的庫(kù),下面這篇文章主要給大家介紹了關(guān)于如何利用Python抓取數(shù)據(jù)并可視化的相關(guān)資料,需要的朋友可以參考下
2022-05-05
python向xls寫入數(shù)據(jù)(包括合并，邊框，對(duì)齊，列寬）
這篇文章主要介紹了python向xls寫入數(shù)據(jù)(包括合并，邊框，對(duì)齊，列寬），幫助大家更好的利用python處理表格，感興趣的朋友可以了解下
2021-02-02
Python 移動(dòng)光標(biāo)位置的方法
今天小編就為大家分享一篇Python 移動(dòng)光標(biāo)位置的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2019-01-01
Python實(shí)現(xiàn)的遠(yuǎn)程文件自動(dòng)打包并下載功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)的遠(yuǎn)程文件自動(dòng)打包并下載功能,結(jié)合實(shí)例形式分析了Python使用spawn()方法執(zhí)行ssh、scp 命令實(shí)現(xiàn)遠(yuǎn)程文件的相關(guān)操作技巧,需要的朋友可以參考下
2019-07-07
Python實(shí)現(xiàn)簡(jiǎn)單拆分PDF文件的方法
這篇文章主要介紹了Python實(shí)現(xiàn)簡(jiǎn)單拆分PDF文件的方法,可實(shí)現(xiàn)將一個(gè)PDF文件拆分成指定份數(shù)的功能,涉及pyPdf模塊的使用技巧,需要的朋友可以參考下
2015-07-07
python實(shí)現(xiàn)圖片處理和特征提取詳解
這篇文章主要介紹了python實(shí)現(xiàn)圖片處理和特征提取詳解，文中向大家分享了Python導(dǎo)入圖片，將圖像轉(zhuǎn)化為二維矩陣，模糊化圖片等Python對(duì)圖像的操作，具有一定參考價(jià)值，需要的朋友可以了解下。
2017-11-11
Django+Celery實(shí)現(xiàn)動(dòng)態(tài)配置定時(shí)任務(wù)的方法示例
這篇文章主要介紹了Django + Celery 實(shí)現(xiàn)動(dòng)態(tài)配置定時(shí)任務(wù)的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-05-05
Python文件如何引入？詳解引入Python文件步驟
我們整理了一篇關(guān)于引入Python文件的一個(gè)基礎(chǔ)知識(shí)點(diǎn)內(nèi)容，如果你是一個(gè)python的學(xué)習(xí)者，參考一下吧。
2018-12-12
pycharm 2019 最新激活方式（pycharm破解、激活）
這篇文章主要介紹了最新2019pycharm激活方式（pycharm破解、激活）,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2020-01-01
python益智游戲計(jì)算漢諾塔問題示例
漢諾塔（又稱河內(nèi)塔）問題是源于印度一個(gè)古老傳說的益智玩具。
2014-03-03