python 動態(tài)遷移solr數據過程解析
前言
上項目的時候，遇見一次需求，需要把在線的 其中一個 collection 里面的數據遷移到另外一個collection下，于是就百度了看到好多文章，其中大部分都是使用導入的方法，沒有找到在線數據的遷移方法。于是寫了python腳本，分享出來。
思路： collection數據量比較大，所以一次性操作所有數據太大，于是分段執(zhí)行操作。
先分段 按1000條數據量進行查詢，處理成json數據
把處理后的json數據 發(fā)送到目的collection上即可
實現(xiàn):
一、使用http的接口先進行查詢
使用如下格式查詢：
其中：collection_name 是你查詢的collection的名稱
rows 是需要查詢多少行，這里設置為1000
start 從多少行開始進行查詢，待會兒腳本里面就是控制這個參數進行循環(huán)查詢
http://host:port/solr/collection_name/select?q=*:*&rows=1000&start=0
查詢處理后會得到如下圖片里面的數據格式，其中
在response里面，有兩個鍵值數據是我們需要的，一個是numFound（總的數據條數），docs（所有json數據都在這里面）
在docs里面，每條數據都帶有version 鍵值，這個需要給去掉
二、使用http的接口提交數據
wt：使用json格式提交
http://host:port/solr/collection_name/update?wt=json
header 需設置為 {"Content-Type": "application/json"}
提交參數：solr在做索引的時候，如果文檔已經存在，就替換。（這里的參數也可以直接加到url里面）
{"overwrite":"true","commit":"true"}
data_dict 就是我們處理后的 docs數據
提交數據：data={"add":{ "doc":data_dict}}
三、實現(xiàn)的腳本如下：
#coding=utf-8
import requests as r
import json
import threading
import time
#發(fā)送數據到目的url des_url，data_dict 參數為去掉version鍵值后的一條字典數據
def send_data(des_url,data_dict):
data={"add":{ "doc":data_dict}}
headers = {"Content-Type": "application/json"}
params = {"boost":1.0,"overwrite":"true","&commitWithin":1000,"commit":"true"}
url = "%s/update?wt=json"%(des_url)
re = r.post(url,json = data,params=params,headers=headers)
if re.status_code != 200:
print("導入出錯",data)
#獲取數據，調用send_data 發(fā)送數據到目的url
def get_data(des_url,src_url):
#定義起始行
start = 0
#先獲取到總的數據條數
se_data=r.get("%s/select?q=*:*&rows=0&start=%s"%(src_url,start)).text
se_dict = json.loads(se_data)
numFound = int(se_dict["response"]["numFound"])
#while循環(huán)，1000條數據為一個循環(huán)
while start < numFound:
#定義存放多線程的列表
th_li = []
#獲取1000條數據
se_data=r.get("%s/select?q=*:*&rows=1000&start=%s"%(src_url,start)).text
#把獲取的數據轉換成字典
se_dict = json.loads(se_data)
#獲取數據里的docs數據
s_data = (se_dict["response"]["docs"])
#循環(huán)得到的數據，刪除 version鍵值，并使用多線程調用send_data 方法發(fā)送數據
for i in s_data:
del i["_version_"]
th = threading.Thread(target=send_data,args=(des_url,i))
th_li.append(th)
for t in th_li:
t.start()
t.join()
start += 1000
print(start)
if __name__ == "__main__":
#源數據，查詢數據的collection地址
src_url = "http://ip:port/solr/src_connection"
#導入數據導目的collection 的地址
des_url = "http://ip:port/solr/des_connection"
start_time = time.time()
get_data(des_url,src_url)
end_time = time.time()
print("耗時：",end_time-start_time,"秒")
備注：
一、如果你的collection 不在同一個網絡，不能實現(xiàn)在線傳輸，可以先把for循環(huán) 刪除了version鍵值的數據，寫入一個文件中，然后copy到目的網絡的服務器上，循環(huán)讀取文件進行上傳,如下寫入文件（這個就根據各位大佬的喜好來寫了），但讀取后，需要把每一條數據都轉換成字典進行上傳：
file = open("solr.json","a+")
for i in s_data:
del i["version"]
file.write(str(i)+"\n")
file.close()
二、清除數據可使用一下方法，自測比較方便的一種
在你要清除collection里面
選擇 documents
document type 選擇xml
將一下內容復制到如圖位置，最后點擊submit document 按鈕即可
#控制web界面刪除數據 <delete><query>:</query></delete> <commit/>
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了python數學建模之三大模型與十大常用算法詳情，文章圍繞主題展開詳細的內容介紹，具有一定的參考價值，感想取得小伙伴可以參考一下2022-07-07
Python中常用于時間的模塊有time、datetime 和 calendar，顧名思義 time 是表示時間（時、分、秒、毫秒）等，calendar 是表示日歷時間的，本章先討論 datetime 模塊,需要的朋友可以參考下2022-06-06
這篇文章主要為大家詳細介紹了python讀取excel表格生成erlang數據，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-08-08
這篇文章主要介紹了Python爬蟲之Scrapy環(huán)境搭建案例教程,本篇文章通過簡要的案例,講解了該項技術的了解與使用,以下就是詳細內容,需要的朋友可以參考下2021-07-07
這篇文章主要介紹了Python中的條件語句和循環(huán)語句,條件語句用于根據條件執(zhí)行不同的代碼塊,循環(huán)語句用于重復執(zhí)行一段代碼,文章還詳細說明了range函數的使用和continue與break語句的作用,需要的朋友可以參考下2025-02-02
python的scikit-learn將特征轉成one-hot特征的方法
今天小編就為大家分享一篇python的scikit-learn將特征轉成one-hot特征的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
這篇文章主要介紹了Python3.5面向對象與繼承,結合圖文與實例形式詳細分析了Python3.5面向對象與繼承的相關概念、原理、實現(xiàn)方法及操作注意事項,需要的朋友可以參考下2019-04-04
本文主要介紹了np.meshgrid中的indexing參數問題解決，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
用Python實現(xiàn)二叉樹、二叉樹非遞歸遍歷及繪制的例子
今天小編就為大家分享一篇用Python實現(xiàn)二叉樹、二叉樹非遞歸遍歷及繪制的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了Keras 使用 Lambda層詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06