2. 使用Redis命令進行排查

查看集群節(jié)點與槽位分布：

redis-cli -c -h <host> -p <port> cluster nodes

觀察每個節(jié)點后面的 slots 范圍是否均勻，以及 connected 連接數(shù)。

分析節(jié)點內(nèi)存與Key數(shù)：

redis-cli -c -h <host> -p <port> info memory | grep used_memory_human
redis-cli -c -h <host> -p <port> info keyspace

可以編寫腳本遍歷所有節(jié)點，對比數(shù)據(jù)。

• 找出大Key：
  • 使用 redis-cli --bigkeys 命令（在集群模式下需對每個節(jié)點執(zhí)行）：

redis-cli -h <host> -p <port> --bigkeys -i 0.1

• 使用官方工具 redis-rdb-tools： 對RDB文件進行分析，生成內(nèi)存報告，最準確。
• 找出熱點Key：
  • 使用 redis-cli --hotkeys 命令（需要先開啟 maxmemory-policy 為 LFU）：

redis-cli -h <host> -p <port> --hotkeys

          使用 MONITOR 命令（生產(chǎn)環(huán)境慎用，臨時采樣）： 短暫運行，觀察哪些Key被頻繁操作。

          基于代理或客戶端埋點： 在應用端或代理層（如Codis Proxy、Twemproxy）統(tǒng)計Key的訪問頻率。

四、解決方案與最佳實踐

1. 解決存儲傾斜

• 拆分大Key：
• 示例： 一個存儲了100萬用戶ID的Set all_users，可以拆分為 all_users:shard1、all_users:shard2 ... 等多個子Key，通過哈希將用戶ID分散到不同子Key中。
• 注意： 拆分會增加客戶端邏輯的復雜度。
• 優(yōu)化數(shù)據(jù)結(jié)構(gòu)：
  • 例如，不用String存儲大JSON，改用Hash；使用HyperLogLog代替Set進行基數(shù)統(tǒng)計。
• 調(diào)整槽位分布：
  • 對于Redis Cluster，可以使用 redis-cli --cluster rebalance 命令，在節(jié)點間重新均衡槽位。但這只能均衡槽位數(shù)量，無法解決因大Key或Hash Tag導致的單個槽位內(nèi)數(shù)據(jù)過大的問題。
• 規(guī)范使用Hash Tag：
• 僅對有強關(guān)聯(lián)、需要共同操作的Key使用Hash Tag。例如，確保一個用戶會話的多個Key在同一個節(jié)點。避免濫用。

2. 解決請求傾斜（熱點Key）

• 本地緩存：
• 在應用層（如Guava、Caffeine）或靠近應用的緩存（如Sidecar）中對熱點Key進行緩存，大幅降低對Redis的直接請求。注意設(shè)置合理的過期時間和更新策略。
• 讀寫分離：
• 如果熱點主要是讀請求，可以為該熱點Key所在的Redis節(jié)點配置從庫（Replica），將讀流量分散到從庫上。
• Key分片：
• 與拆分大Key類似，將一個邏輯熱點Key（如 hot_news）拆分為多個物理Key（如 hot_news:1、hot_news:2）?？蛻舳嗽L問時，通過一個確定性規(guī)則（如 用戶ID % 分片數(shù)）決定訪問哪個分片。這本質(zhì)上是將壓力從單Key分攤到多節(jié)點。
• 使用 RedisGears/Actions：
• 利用Redis的服務(wù)端腳本能力，在Redis內(nèi)部實現(xiàn)復雜的邏輯，減少網(wǎng)絡(luò)往返和客戶端壓力。

3. 通用與預防性措施

• 容量規(guī)劃與監(jiān)控先行： 在上線前預估數(shù)據(jù)量和訪問模式，建立完善的監(jiān)控告警體系。
• 數(shù)據(jù)預熱： 在活動（如大促）開始前，將預期可能成為熱點或主要的數(shù)據(jù)加載到緩存，并使其均勻分布。
• 客戶端優(yōu)化：
  • 使用連接池，并確保連接均勻分布到集群節(jié)點。
  • 避免在線上使用阻塞式或高復雜度命令（KEYS、FLUSHALL、HGETALL 等），使用 SCAN 系列命令替代。
• 升級架構(gòu)：
  • 如果業(yè)務(wù)增長迅猛，可以考慮使用更高級的分布式緩存方案（如阿里云Tair、騰訊云Redis企業(yè)版），它們內(nèi)置了更好的負載均衡和熱點發(fā)現(xiàn)能力。

五、總結(jié)

Redis數(shù)據(jù)傾斜的本質(zhì)是數(shù)據(jù)或流量在分布式系統(tǒng)中分布不均。解決思路可以概括為：

• 監(jiān)控發(fā)現(xiàn)： 建立指標，快速定位是存儲問題還是請求問題。
• 精準分析： 使用工具定位到大Key或熱點Key。
• 對癥下藥：
  • 對大Key：拆。
  • 對熱點Key：分（分片）或擋（本地緩存/讀寫分離）。
  • 對分布不均：調(diào)（槽位重平衡）和規(guī)（規(guī)范Hash Tag使用）。
• 預防為主： 在系統(tǒng)設(shè)計和開發(fā)階段就充分考慮數(shù)據(jù)分布和訪問模式。

        通過系統(tǒng)性的監(jiān)控、分析和優(yōu)化，可以有效地管理和緩解Redis數(shù)據(jù)傾斜問題，保證緩存服務(wù)的穩(wěn)定和高性能。

到此這篇關(guān)于Redis 數(shù)據(jù)傾斜問題詳解的文章就介紹到這了,更多相關(guān)Redis 數(shù)據(jù)傾斜內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！