Redis 底層運行機(jī)制與原理流程分析
一、核心架構(gòu):事件驅(qū)動與單線程模型
Redis 采用 單線程事件驅(qū)動架構(gòu),通過 epoll/kqueue 實現(xiàn) I/O 多路復(fù)用。其核心事件循環(huán)(aeEventLoop)持續(xù)監(jiān)聽兩類事件:
- 文件事件:Socket 可讀/可寫狀態(tài)(客戶端請求/響應(yīng))
- 時間事件:定時任務(wù)(如過期鍵清理、持久化觸發(fā))
工作流程:主線程通過 epoll_wait() 等系統(tǒng)調(diào)用獲取就緒事件 → 調(diào)用對應(yīng)處理器(如 readQueryFromClient 解析命令)→ 執(zhí)行命令 → 返回結(jié)果。這種設(shè)計避免了多線程鎖競爭,但需確保單線程操作高效。
二、內(nèi)存數(shù)據(jù)結(jié)構(gòu)與動態(tài)編碼
Redis 通過 redisObject 結(jié)構(gòu)統(tǒng)一管理數(shù)據(jù),其字段包括:
- type:數(shù)據(jù)類型(String/List 等)
- encoding:內(nèi)部編碼(如 ziplist/hashtable)
- lru:LRU 時間戳(內(nèi)存淘汰用)
- refcount:引用計數(shù)(內(nèi)存回收依據(jù))
- ptr:指向?qū)嶋H數(shù)據(jù)的指針
動態(tài)編碼優(yōu)化策略:
| 數(shù)據(jù)類型 | 編碼方式 | 觸發(fā)條件 | 性能特點 |
|---|---|---|---|
| String | int/embstr/raw | 整數(shù) → int;≤44字節(jié) → embstr;大對象 → raw | embstr 減少內(nèi)存分配次數(shù) |
| List | quicklist | Redis 3.2+ 替代 ziplist/linkedlist,由 ziplist 節(jié)點+雙向鏈表組成 | 平衡內(nèi)存與操作效率 |
| Hash | ziplist/hashtable | 元素少且值小 → ziplist;超閾值 → hashtable | 節(jié)省小對象內(nèi)存 |
| Set | intset/hashtable | 全為整數(shù) → intset;否則 → hashtable | 整數(shù)集合壓縮存儲 |
| ZSet | ziplist/skiplist | 元素少且分?jǐn)?shù)小 → ziplist;否則 → skiplist | 跳表支持快速范圍查詢 |
| Stream | radix tree + listpack | 基數(shù)樹索引消息 ID,listpack 存儲消息內(nèi)容 | 高效支持消息遍歷 |
編碼轉(zhuǎn)換:當(dāng)數(shù)據(jù)量超過閾值(如 ziplist 大小 > hash-max-ziplist-entries)時自動切換編碼。
三、內(nèi)存管理與碎片整理
1. 內(nèi)存分配器
默認(rèn)使用 jemalloc,其優(yōu)勢:
- 按內(nèi)存大小分級(small/large/huge)分配
- 減少外部碎片,碎片率通常 ≈1.03
- 支持后臺線程異步釋放內(nèi)存(Lazy Free)
2. 內(nèi)存淘汰策略
當(dāng)達(dá)到 maxmemory 限制時觸發(fā):
- LRU/LFU 近似算法:隨機(jī)采樣 5 個鍵(maxmemory-samples配置),淘汰最符合策略的鍵
- LFU 實現(xiàn):用概率計數(shù)器記錄訪問頻率,并隨時間衰減
3. 主動碎片整理(Active Defrag)
- 觸發(fā):碎片率 > active-defrag-threshold-lower(默認(rèn) 10%)
- 過程:掃描內(nèi)存 → 復(fù)制碎片化對象到新位置 → 釋放原內(nèi)存
- 限制:需配合 jemalloc,每周期 CPU 占用 ≤ active-defrag-cycle-max(默認(rèn) 25%)
四、持久化機(jī)制:RDB 與 AOF
1. RDB(快照持久化)
- 流程:fork() 子進(jìn)程 → 子進(jìn)程遍歷內(nèi)存生成 RDB 文件 → 替換舊文件
- COW 優(yōu)化:父進(jìn)程繼續(xù)處理請求,僅當(dāng)內(nèi)存頁被修改時復(fù)制
- 觸發(fā):save(阻塞)、bgsave(后臺)、配置自動觸發(fā)(如 save 900 1)
2. AOF(日志持久化)
- 流程:所有寫命令追加到 AOF 緩沖區(qū) → 根據(jù)策略(always/everysec/no)同步至磁盤
- 重寫:fork() 子進(jìn)程生成精簡版 AOF(只保留當(dāng)前數(shù)據(jù)狀態(tài))
- 混合持久化(Redis 4.0+):AOF 重寫時嵌入 RDB 格式頭,加速恢復(fù)
性能對比:
| 特性 | RDB | AOF |
|---|---|---|
| 文件大小 | ?。ǘM(jìn)制) | 大(文本命令) |
| 恢復(fù)速度 | 快 | 慢 |
| 數(shù)據(jù)安全 | 可能丟失快照間數(shù)據(jù) | 最多丟失 1 秒數(shù)據(jù) |
五、復(fù)制與集群架構(gòu)
1. 主從復(fù)制流程

- 復(fù)制積壓緩沖區(qū):主節(jié)點維護(hù)環(huán)形緩沖區(qū)(默認(rèn) 1MB),保存近期寫命令
- 無磁盤復(fù)制:RDB 數(shù)據(jù)直接流式傳輸?shù)綇墓?jié)點,跳過磁盤 I/O(repl-diskless-sync yes)
2. 集群(Cluster)原理
- 分片機(jī)制:16384 個哈希槽均勻分布到節(jié)點
- Gossip 協(xié)議:節(jié)點間定期交換狀態(tài)(PING/PONG/MEET/FAIL 消息)
- 故障轉(zhuǎn)移:當(dāng)主節(jié)點下線,從節(jié)點發(fā)起投票選舉新主節(jié)點
六、高級特性實現(xiàn)
1. Lua 腳本引擎
- 原子性:單線程執(zhí)行腳本期間阻塞其他命令
- 執(zhí)行環(huán)境:偽客戶端模式調(diào)用 Redis 命令
- 復(fù)制:主節(jié)點傳播 EVALSHA + 腳本 SHA1,從節(jié)點通過 repl_scriptcache_dict 緩存
2. I/O 多線程(Redis 6.0+)
- 線程分工:I/O 線程負(fù)責(zé)網(wǎng)絡(luò)讀寫,主線程執(zhí)行命令
- 配置:io-threads 4 啟用線程,io-threads-do-reads yes 啟用讀線程化
- 效果:吞吐量提升 2 倍,但命令仍串行執(zhí)行保證正確性
3. 模塊系統(tǒng)
- 加載:MODULE LOAD /path/to/module.so
- API:RedisModule_CreateCommand 注冊新命令
- 交互:通過模塊 API 訪問核心數(shù)據(jù)結(jié)構(gòu)(如 RedisModule_StringSet)
總結(jié)
Redis 的底層運行機(jī)制是一個精心設(shè)計的系統(tǒng)工程:
- 以內(nèi)存為核心,提供了極快的訪問速度。
- 精巧的數(shù)據(jù)結(jié)構(gòu),在速度與內(nèi)存之間取得了最佳平衡。
- 單線程 Reactor 模型,避免了并發(fā)復(fù)雜性,配合 I/O 多路復(fù)用輕松應(yīng)對高并發(fā)。
- 靈活可配的持久化方案(RDB, AOF, 混合),滿足了不同場景下的數(shù)據(jù)安全需求。
- 漸進(jìn)式的優(yōu)化策略(漸進(jìn)式 rehash、惰性刪除、后臺線程化),保證了服務(wù)的平滑運行。
到此這篇關(guān)于Redis 底層運行機(jī)制與原理淺析的文章就介紹到這了,更多相關(guān)Redis 底層運行機(jī)制內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SpringBoot讀寫Redis客戶端并實現(xiàn)Jedis技術(shù)切換功能
這篇文章主要介紹了SpringBoot讀寫Redis客戶端并實現(xiàn)技術(shù)切換功能,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-01-01
Redis過期監(jiān)聽機(jī)制,訂單超時自動取消方式
這篇文章主要介紹了Redis過期監(jiān)聽機(jī)制,訂單超時自動取消方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-05-05
RedisTemplate序列化設(shè)置的流程和具體步驟
在使用 Redis 作為緩存數(shù)據(jù)庫時,我們通常會使用 RedisTemplate 來簡化與 Redis 進(jìn)行交互的操作,而其中一個重要的配置項就是序列化設(shè)置,它決定了數(shù)據(jù)在存儲到 Redis 中時的格式,本文將介紹如何進(jìn)行 RedisTemplate 的序列化設(shè)置,以及一些常見的序列化方案2024-11-11
使用Docker部署Redis并配置持久化與密碼保護(hù)的詳細(xì)步驟
本文將詳細(xì)介紹如何使用 Docker 部署 Redis,并通過 redis.conf 配置文件實現(xiàn)數(shù)據(jù)持久化和密碼保護(hù),適合在生產(chǎn)環(huán)境中使用,文章通過代碼示例講解的非常詳細(xì),需要的朋友可以參考下2025-03-03

