快捷導(dǎo)航

Python將json文件寫(xiě)入ES數(shù)據(jù)庫(kù)的方法

更新時(shí)間：2019年04月10日 10:00:54 作者：poziiey

這篇文章主要介紹了Python將json文件寫(xiě)入ES數(shù)據(jù)庫(kù)的方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下

1、安裝Elasticsearch數(shù)據(jù)庫(kù)

PS：在此之前需首先安裝Java SE環(huán)境

下載elasticsearch-6.5.2版本，進(jìn)入/elasticsearch-6.5.2/bin目錄，雙擊執(zhí)行elasticsearch.bat 打開(kāi)瀏覽器輸入http://localhost:9200 顯示以下內(nèi)容則說(shuō)明安裝成功

安裝head插件，便于查看管理（還可以用kibana）

首先安裝Nodejs（下載地址https://nodejs.org/en/）

再下載elasticsearch-head-master包解壓到/elasticsearch-6.5.2/下（鏈接: https://pan.baidu.com/s/1q3kokFhpuJ2Q3otPgu7ldg

提取碼: 1rpp

修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml如下：

進(jìn)入elasticsearch-head-master目錄下執(zhí)行npm install -g grunt-cli，再執(zhí)行npm install安裝依賴(lài)

在elasticsearch-head-master目錄下找到Gruntfile.js文件修改服務(wù)器監(jiān)聽(tīng)地址如下：

執(zhí)行g(shù)runt server命令啟動(dòng)head服務(wù)

訪問(wèn)地址 http://localhost:9100/ 即可訪問(wèn)head管理頁(yè)面

2、將json文件寫(xiě)入ES數(shù)據(jù)庫(kù)（py腳本如下）

# -*- coding: UTF-8 -*-
from itertools import islice
import json , sys
from elasticsearch import Elasticsearch , helpers
import threading
_index = 'indextest' #修改為索引名
_type = 'string'  #修改為類(lèi)型名
es_url = 'http://192.168.116.1:9200/' #修改為elasticsearch服務(wù)器
reload(sys)
sys.setdefaultencoding('utf-8')
es = Elasticsearch(es_url)
es.indices.create(index=_index, ignore=400)
chunk_len = 10
num = 0
def bulk_es(chunk_data):
 bulks=[]
 try:
  for i in xrange(chunk_len):
   bulks.append({
     "_index": _index,
     "_type": _type,
     "_source": chunk_data[i]
    })
  helpers.bulk(es, bulks)
 except:
  pass
with open(sys.argv[1]) as f:
 while True:
  lines = list(islice(f, chunk_len))
  num =num +chunk_len
  sys.stdout.write('\r' + 'num:'+'%d' % num)
  sys.stdout.flush()
  bulk_es(lines)
  if not lines:
   print "\n"
   print "task has finished"
   break

總結(jié)

以上所述是小編給大家介紹的Python將json文件寫(xiě)入ES數(shù)據(jù)庫(kù)的方法，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！

如果你覺(jué)得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！

您可能感興趣的文章:

相關(guān)文章

利用aardio給python編寫(xiě)圖形界面
這篇文章主要為大家詳細(xì)介紹了利用aardio給python編寫(xiě)圖形界面的方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2017-08-08
python 如何獲取元素在array中的下標(biāo)
這篇文章主要介紹了python 獲取元素在array中的下標(biāo)操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2021-05-05
使用OpenCV對(duì)運(yùn)動(dòng)員的姿勢(shì)進(jìn)行檢測(cè)功能實(shí)現(xiàn)
2022年奧林匹克運(yùn)動(dòng)會(huì)如期舉行，以不正確的方式進(jìn)行運(yùn)動(dòng)風(fēng)險(xiǎn)在增加，人體姿勢(shì)估計(jì)是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要問(wèn)題，接下來(lái)通過(guò)本文給大家介紹下使用OpenCV對(duì)運(yùn)動(dòng)員的姿勢(shì)進(jìn)行檢測(cè)功能，感興趣的朋友一起看看吧
2022-02-02
詳解Python中import模塊導(dǎo)入的實(shí)現(xiàn)原理
這篇文章主要給大家介紹了Python中import模塊導(dǎo)入的實(shí)現(xiàn)原理,主要從什么是模塊,import搜索路徑以及導(dǎo)入原理這三個(gè)方面給大家介紹,感興趣的小伙伴跟著小編一起來(lái)看看吧
2023-08-08
python自動(dòng)化辦公操作excel的示例詳解
這篇文章主要為大家詳細(xì)介紹了如何利用python來(lái)實(shí)現(xiàn)自動(dòng)化辦公操作excel文件進(jìn)行各種樣式展示,并自動(dòng)發(fā)送文件給"老板"的郵箱,希望對(duì)大家有所幫助
2024-03-03
Python HTTP下載文件并顯示下載進(jìn)度條功能的實(shí)現(xiàn)
這篇文章主要介紹了Python HTTP下載文件并顯示下載進(jìn)度條功能，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
2020-04-04
python中dir()與__dict__屬性的區(qū)別淺析
這篇文章主要給大家介紹了關(guān)于python中dir()與__dict__屬性的區(qū)別的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2018-12-12
Python print不能立即打印的解決方式
今天小編就為大家分享一篇Python print不能立即打印的解決方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-02-02
Python Collatz序列實(shí)現(xiàn)過(guò)程解析
這篇文章主要介紹了Python Collatz序列實(shí)現(xiàn)過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-10-10
基于python的ini配置文件操作工具類(lèi)
這篇文章主要為大家詳細(xì)介紹了基于python的ini配置文件操作工具類(lèi)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-04-04