如何向redis中寫入大量的數(shù)據(jù)
更新時間：2025年08月06日 10:09:48 作者：及時機芯
文章介紹了通過Python腳本生成Redis命令并輸出至文件,再用Shell腳本批量執(zhí)行的流程,強調Pipeline技術可提升批量寫入效率,并說明如何驗證數(shù)據(jù)插入成功
1.編寫Python腳本，生成redis命令
- redis_info.py
#!/usr/bin/python
for i in range(5000000): #循環(huán)的數(shù)量
print 'set name'+str(i),'hello'+str(i) #str(i)將int類型轉換為str類型，否則不能進行字符串拼接
2.運行python腳本輸出到redis_comm.txt文件中
python redis_info.py > redis_comm.txt
- 生成一個redis_comm.txt文件
head -n 10 redis_comm.txt set name0 hello0 set name1 hello1 set name2 hello2 set name3 hello3 set name4 hello4 set name5 hello5 set name6 hello6 set name7 hello7 set name8 hello8 set name9 hello9
3.將redis命令生成Redis Protocol
編寫腳本redis_data.sh
- #!/bin/bash
while read CMD; do
# each command begins with *{number arguments in command}
XS=($CMD); printf "*${#XS[@]}
"
# for each argument, we append ${length}
{argument}
for X in $CMD; do printf "$${#X}
$X
"; done
done < redis_comm.txt
4.運行shell腳本
sh redis_data.sh > redis_data.txt head -n 10 redis_data.txt *3 $3 set $5 name0 $6 hello0 *3 $3 set
5.管道（Pipeline）就是為了改善這個情況的
利用管道技術，客戶端可以一次性發(fā)送多個請求而不用等待服務器的響應，待所有命令都發(fā)送完后再一次性讀取服務的響應。
cat redis_data.txt |redis-cli -h 192.168.102.95 --pipe
直接就可以運行了
6.驗證，去查看數(shù)據(jù)是否插入成功
info查看
總結
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Redis鍵遷移(move、dump、restore、migrate)的三種實現(xiàn)
鍵遷移就是把數(shù)據(jù)由一個Redis遷移到另一個Redis,本文主要介紹了Redis鍵遷移(move、dump、restore、migrate)的三種實現(xiàn),文中通過示例代碼介紹的非常詳細,需要的朋友們下面隨著小編來一起學習學習吧2025-04-04
這篇文章主要介紹了使用Redis如何設置永久有效，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-01-01
詳解利用redis + lua解決搶紅包高并發(fā)的問題
本篇文章主要介紹了利用redis + lua解決搶紅包高并發(fā)的問題 ，詳細的講訴了需求分析和方案，有興趣的可以了解一下。2016-11-11
一文詳解Redis在Ubuntu系統(tǒng)上的安裝步驟
安裝redis在Ubuntu上有多種方法,下面這篇文章主要給大家介紹了關于Redis在Ubuntu系統(tǒng)上安裝的相關資料,文中通過圖文以及代碼介紹的非常詳細,需要的朋友可以參考下2024-07-07
文章介紹了如何在SpringBoot中使用Redis和@Cacheable注解進行緩存分頁數(shù)據(jù),以及在數(shù)據(jù)更新時如何更新緩存,通過使用@EnableCaching、@Cacheable、@CachePut和@CacheEvict注解,可以簡化緩存操作并提高系統(tǒng)性能2025-11-11
本文詳細介紹了在Linux系統(tǒng)下安裝Redis 6.0.5的步驟,包括安裝準備、編譯安裝、啟動服務、設置密碼和配置文件修改等,具有一定的參考價值,感興趣的可以了解一下2025-02-02
這篇文章主要介紹了圖解Redis主從復制與Redis哨兵機制,今天分享一下Redis的持久化、事務、管道相關的知識點,需要的朋友可以參考下2023-03-03
Redis連接失敗：客戶端IP不在白名單中的問題分析與解決方案
在現(xiàn)代分布式系統(tǒng)中,Redis作為一種高性能的內存數(shù)據(jù)庫,被廣泛應用于緩存、消息隊列、會話存儲等場景,然而,在實際使用過程中,我們可能會遇到各種連接問題,其中“客戶端IP不在白名單中”是一個常見的錯誤,本文將從錯誤分析、原因排查、解決方案等詳細探討如何解決這一問題2025-01-01
Redis如何使用Pipeline實現(xiàn)批處理操作
Redis?Pipeline?是一種優(yōu)化?Redis?操作的機制,通過將多個命令打包發(fā)送到?Redis?服務器,減少客戶端與服務器之間的網(wǎng)絡往返時間,本文主要來聊聊Redis如何使用Pipeline實現(xiàn)批處理操作,需要的可以了解下2025-02-02
每隔一段時間就掃描一定數(shù)據(jù)的設置了過期時間的key,并清除其中已過期的keys,本文主要介紹了深入理解redis刪除策略和淘汰策略,感興趣的可以了解一下2024-08-08