python數(shù)據(jù)處理詳情
一，前言
我們現(xiàn)在拿到了一個(gè)十分龐大的數(shù)據(jù)集。是json文件，里面存儲(chǔ)了將近十萬(wàn)個(gè)數(shù)據(jù)，現(xiàn)在要對(duì)其中的數(shù)據(jù)進(jìn)行清洗處理。
二，python模塊
import json import jieba
我們需要用json模塊來(lái)處理json文件，和使用jieba庫(kù)來(lái)分析詞性，這樣可以實(shí)現(xiàn)我們的需求。
2.1，增加停用詞表
停用詞表.txt，把停用詞表存入stopwords，原因是：我們的目標(biāo)分析json里有一些標(biāo)點(diǎn)符號(hào)。
stopwords = [line.strip() for line in open("停用詞表.txt",encoding="utf-8").readlines()]
基本如圖所示：
a+str(b)+c這是文件名稱(chēng)，a+b+c=./json/poet.song.0.json b遞增，實(shí)現(xiàn)動(dòng)態(tài)取值
with open(a+str(b)+c,'r',encoding='utf8')as fp:
因?yàn)橛袑⒔?00個(gè)json文件。每個(gè)文件里有好幾千組數(shù)據(jù)，我現(xiàn)在盡力的優(yōu)化代碼，現(xiàn)在提取一次，把需要的數(shù)據(jù)存入文件里面差不多需要五分鐘。
2.2，順序讀取
- 定義一個(gè)空的字符串，將json對(duì)象轉(zhuǎn)換為python對(duì)象。定義一個(gè)空的list存放詩(shī)句。
- 循環(huán)
json_data i為里面的每一個(gè)元素。 - 新的追加到
list_paragraphs列表 - 循環(huán) j為里面的每一句。
代碼如圖所示：
使用jieba庫(kù)，分析str內(nèi)容的詞性【注意是名稱(chēng)，動(dòng)詞。。。?！颗判休敵龆际莻z個(gè)字是巧合，沒(méi)有字?jǐn)?shù)限制
words = jieba.lcut(str_s)
現(xiàn)在words為分析完畢的詞性列表，遍歷。
排除特殊符號(hào)
for word in words: ? ? ? ? ? ? if word not in stopwords: ? ? ? ? ? ? ? ? if len(word) == 1: ? ? ? ? ? ? ? ? ? ? continue ? ? ? ? ? ? ? ? else: ? ? ? ? ? ? ? ? ? ? counts[word] = counts.get(word,0) + 1
出現(xiàn)頻率加一。
2.3，lambda函數(shù)
使用lambda函數(shù)，sort快速排序，遍歷輸出頻率前50的詞性。
items.sort(key=lambda x:x[1], reverse=True)
之后賦值word, count。
word, count = items[i]
? ? print ("{:<10}{:>7}".format(word, count))三，運(yùn)行
3.1，存入文件
f=open('towa.txt',"a",encoding='gb18030')
? ? ? ? ? ? f.writelines("題目:"+textxxx)
? ? ? ? ? ? f.writelines(word_ping)
到此這篇關(guān)于python數(shù)據(jù)處理詳情的文章就介紹到這了,更多相關(guān)python數(shù)據(jù)處理內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- 進(jìn)行數(shù)據(jù)處理的6個(gè)?Python?代碼塊分享
- Python?Pandas讀取Excel日期數(shù)據(jù)的異常處理方法
- 教你在Excel中調(diào)用Python腳本實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化處理的方法
- Python數(shù)據(jù)處理-導(dǎo)入導(dǎo)出excel數(shù)據(jù)
- 如何利用python處理原始音頻數(shù)據(jù)
- Python數(shù)據(jù)分析處理(三)--運(yùn)動(dòng)員信息的分組與聚合
- Python數(shù)據(jù)分析與處理(二)——處理中國(guó)地區(qū)信息
相關(guān)文章
Python浮點(diǎn)數(shù)取整、格式化和NaN處理的操作方法
這篇文章主要介紹了Python浮點(diǎn)數(shù)取整、格式化和NaN處理的操作方法,本文較詳細(xì)介紹了取整的三種方法，格式化浮點(diǎn)數(shù)輸出的示例代碼詳解，感興趣的朋友跟隨小編一起看看吧2022-05-05
Python中靜態(tài)方法,類(lèi)方法,屬性方法使用方法
這篇文章主要介紹了Python中靜態(tài)方法,類(lèi)方法,屬性方法使用方法，文章圍繞主題的相關(guān)資料展開(kāi)詳細(xì)內(nèi)容，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-05-05
今天小編給大家介紹一款可視化模塊，使用它可以繪制出十分驚艷的動(dòng)圖效果。文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2022-04-04
tensorflow沒(méi)有output結(jié)點(diǎn),存儲(chǔ)成pb文件的例子
今天小編就為大家分享一篇tensorflow沒(méi)有output結(jié)點(diǎn),存儲(chǔ)成pb文件的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
python實(shí)現(xiàn)的登錄與提交表單數(shù)據(jù)功能示例
這篇文章主要介紹了python實(shí)現(xiàn)的登錄與提交表單數(shù)據(jù)功能,結(jié)合實(shí)例形式分析了Python表單登錄相關(guān)的請(qǐng)求與響應(yīng)操作實(shí)現(xiàn)技巧,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python3.9又更新了:dict內(nèi)置新功能，從文檔中，我們可以看到官方透露的對(duì) dict、math 等組件增加的新特性，以及下一步的開(kāi)發(fā)進(jìn)展2020-02-02
在類(lèi)Unix系統(tǒng)上開(kāi)始Python3編程入門(mén)
這篇文章主要介紹了在類(lèi)Unix系統(tǒng)上開(kāi)始Python3編程入門(mén),講解了最基礎(chǔ)最直觀的利用Print函數(shù)進(jìn)行各種輸出的方法,需要的朋友可以參考下2015-08-08
selenium自動(dòng)化測(cè)試簡(jiǎn)單準(zhǔn)備
本文主要介紹了selenium自動(dòng)化測(cè)試簡(jiǎn)單準(zhǔn)備，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01
python如何實(shí)現(xiàn)多層級(jí)自動(dòng)賦值字典
這篇文章主要介紹了python如何實(shí)現(xiàn)多層級(jí)自動(dòng)賦值字典問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
python實(shí)現(xiàn)使用遺傳算法進(jìn)行圖片擬合
最近做項(xiàng)目需要圖像擬合，本文主要介紹了python實(shí)現(xiàn)使用遺傳算法進(jìn)行圖片擬合，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-03-03