redis數(shù)據(jù)傾斜處理方法
寫在前面
我們在使用Redis分片集群時，集群最好的狀態(tài)就是每個實例可以處理相同或相近比例的請求，但如果不是這樣，則會出現(xiàn)某些實例壓力特別大，而某些實例特別空閑的情況發(fā)生，本文就一起來看下這種情況是如何發(fā)生的以及如何處理。
1：什么是數(shù)據(jù)傾斜
數(shù)據(jù)傾斜分為兩種，第一種是數(shù)據(jù)量傾斜，第二種是數(shù)據(jù)訪問傾斜，定義如下：
- 數(shù)據(jù)量傾斜：數(shù)據(jù)分布的不均勻，導致某些實例數(shù)據(jù)特別多，進而導致處理的請求量大
- 數(shù)據(jù)訪問傾斜：數(shù)據(jù)分布均勻，但是某些實例存在熱點數(shù)據(jù)，進而導致處理的請求量大
可以看到不管是數(shù)據(jù)量傾斜，還是數(shù)據(jù)訪問傾斜，最終導致的結果都是發(fā)生傾斜的實例處理了更多的數(shù)據(jù)請求，壓力增大。
2：數(shù)據(jù)量傾斜
數(shù)據(jù)量傾斜最常見的原因就是在手動劃分slot時，分配不均勻，除此之外，還有big key，hash tag，分別來看下。
2.1：slot分配不均勻
slot分配不均勻一般是由于手動分配造成，或者是因為某個實例節(jié)點配置較高，為了更加充分的利用其計算機資源，有意的給其分配更多的slot，但是這個多出的量其實是不好預估的，所以對于因為計算機性能差異有意分配的造成的slot不均勻還是要盡量避免，即保證所有的實例節(jié)點都具有相同的配置，然后將slot進行均勻分配。如果是已經發(fā)生了slot分配不均勻，我們可以通過遷移slot的方式來處理，首先通過cluster slots命令查看當前slot的分配情況：
上圖slot0~4095分配到了實例192.168.10.3:6379,slot12288~16383分配到了實例192.168.10.5:6379。如下是一個slot遷移的例子。
假設我們要把 Slot 300 從源實例（ID 為 3）遷移到目標實例（ID 為 5），那要怎么做呢？
第1步，我們先在目標實例5上執(zhí)行下面的命令，將Slot 300的源實例設置為實例 3，表示要從實例 3 上遷入 Slot 300。
第2步，在源實例 3 上，我們把 Slot 300 的目標實例設置為 5，這表示，Slot 300 要遷出到實例 5 上，如下所示：
第3步，從 Slot 300 中獲取 100 個 key。因為 Slot 中的 key 數(shù)量可能很多，所以我們需要在客戶端上多次執(zhí)行下面的這條命令，分批次獲得并遷移 key。
第4步，我們把剛才獲取的 100 個 key 中的 key1 遷移到目標實例 5 上（IP 為 192.168.10.5），同時把要遷入的數(shù)據(jù)庫設置為 0 號數(shù)據(jù)庫，把遷移的超時時間設置為 timeout。我們重復執(zhí)行 MIGRATE 命令，把 100 個 key 都遷移完。
最后，我們重復執(zhí)行第 3 和第 4 步，直到 Slot 中的所有 key 都遷移完成。
從Redis3.0.6開始，你也可以使用KEYS選項，一次遷移多個key（key1、2、3），這樣可以提升遷移效率。
2.2：big key
bigkey，主要包括string的值特別大，和集合類型的元素特別多兩種情況，對于string，我們需要在業(yè)務上處理，分散到多個key存儲，然后在業(yè)務上多次獲取，并進行合并，比如如下劃分：
key:
names
劃分為
key:
name:1_1000 ... name:100001_101001 其實這里是用到了分片的思想，對于集合的處理方式和string也是類似的，比如有一個包含100萬個元素的hash集合user:info，分片存儲后如下：
key:
user:info
key:
user:info:1_100000,user:info:100001_20000，...,user:info:900001_1000000對于bigkey我們還是要在業(yè)務上盡量避免，因為bigkey的副作用不僅僅如此，還有如數(shù)據(jù)同步慢，數(shù)據(jù)恢復慢，刪除慢等。
2.3：hash tag
我們正常設置key，計算其slot值的方式是crc16(key)%16384,但是如果是使用了{},比如keypart1:{keypart2}，則計算的邏輯就變成了crc16(keypart2)%16384,一般用在希望某幾類key分布到同一個實例，進而可以方便的進行某些操作的場景，如事務，簡單的計算等，但是一般帶來的的負面影響要比收益大的多，比如造成這里分析的數(shù)據(jù)傾斜問題，數(shù)據(jù)傾斜影響的是整個Redis實例，影響更大，所以在實踐中要盡量避免使用hash tag。
3：數(shù)據(jù)訪問傾斜
數(shù)據(jù)訪問傾斜出現(xiàn)的場景一般就是熱點數(shù)據(jù)，比如首頁的新聞，某明星出軌離婚等爆點新聞，對于這類問題一般有如下的解決方法：
1：拷貝幾份數(shù)據(jù)，以分散到不同的實例
比如news:1,可以虛擬出幾份數(shù)據(jù)，如news:1:A,news:1:B,...news:1:Z,客戶端訪問時隨機的增加A~Z的后綴，分散壓力，這種方法可以用于只讀的熱點數(shù)據(jù)
2：增加機器配置
這種方法是針對讀寫數(shù)據(jù)，因為如果是按照方案1，數(shù)據(jù)的一致性將會帶來額外的性能開銷，以及更多潛在的bug。
到此這篇關于redis之數(shù)據(jù)傾斜如何處理的文章就介紹到這了,更多相關redis數(shù)據(jù)傾斜內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Redis 的 List 是一個雙向鏈表，鏈表中的每個節(jié)點都包含了一個字符串。是redis中最常用的數(shù)據(jù)結構之一，本文主要介紹了Redis鏈表底層實現(xiàn)及生產實戰(zhàn)，文中通過示例代碼介紹的非常詳細，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
這篇文章主要介紹了redis熱key問題怎樣解決,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-04-04
在電商平臺或者倉庫管理系統(tǒng)中,庫存的管理是非常重要的一項任務,本文主要介紹了Redis增減庫存避坑的實現(xiàn),具有一定的參考價值,感興趣的可以了解一下2024-02-02
這篇文章主要介紹了Redis數(shù)據(jù)結構中的跳躍表的相關知識，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-11-11
redis的hGetAll函數(shù)的性能問題(記Redis那坑人的HGETALL)
這篇文章主要介紹了redis的hGetAll函數(shù)的性能問題,需要的朋友可以參考下2016-02-02
在Ubuntu?14.04系統(tǒng)上備份和恢復Redis數(shù)據(jù)詳細步驟
這篇文章主要給大家介紹了關于在Ubuntu?14.04系統(tǒng)上備份和恢復Redis數(shù)據(jù)的詳細步驟,文中通過代碼介紹的非常詳細,對大家學習或者使用Redis具有一定的參考借鑒價值,需要的朋友可以參考下2024-04-04
這篇文章主要介紹了redis基本安裝判斷、啟動使用方法,結合實例形式分析了Redis針對是否安裝的判斷、啟動等使用方法,需要的朋友可以參考下2020-02-02
高效異步redis客戶端aredis優(yōu)劣勢原理解析
這篇文章主要介紹了高效異步redis客戶端aredis優(yōu)劣勢原理解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-09-09
這篇文章主要介紹了redis三種高可用方式部署的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-05-05
這篇文章主要為大家介紹了Redis高效恢復策略內存快照與AOF及對比詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-12-12