快捷導(dǎo)航

redis客戶端實(shí)現(xiàn)高可用讀寫分離的方式詳解

更新時(shí)間：2021年07月04日 15:30:35 作者：mushishi

基于sentienl 獲取和動(dòng)態(tài)感知 master、slaves節(jié)點(diǎn)信息的變化，我們的讀寫分離客戶端就能具備高可用+動(dòng)態(tài)擴(kuò)容感知能力了，接下來(lái)通過(guò)本文給大家分享redis客戶端實(shí)現(xiàn)高可用讀寫分離的方式，感興趣的朋友一起看看吧

背景

(1) redis單機(jī)的讀寫性能輕松上大幾萬(wàn)，不過(guò)線上環(huán)境不會(huì)只部署光禿禿的一個(gè)節(jié)點(diǎn)，還是會(huì)配合 sentinel 再部署一個(gè) slave作為高可用節(jié)點(diǎn)的；
但是standby的slave節(jié)點(diǎn)是不對(duì)外提供服務(wù)端的，一定程度上造成了浪費(fèi)資源

(2) 當(dāng)業(yè)務(wù)不斷發(fā)展，原來(lái)單節(jié)點(diǎn)緩存的數(shù)據(jù)（如，商品信息緩存、配置信息等）的查詢qps不斷升高（寫qps增長(zhǎng)不多），突破十幾萬(wàn)、幾十萬(wàn)的的時(shí)候，此時(shí)一個(gè)節(jié)點(diǎn)就扛不住了，我們就需要增加幾個(gè)redis slaves節(jié)點(diǎn)來(lái)分擔(dān)這些查詢的壓力也就是讀寫分離

但是，常用的 redis 客戶端jedis并不支持讀寫分離能力

實(shí)現(xiàn)方式

(1) 從配置中心獲取 master 和 slaves 的連接信息，分別初始化好一個(gè)連接master的寫連接池和一組slave的讀連接池
(2) 將命令進(jìn)行分類：執(zhí)行寫命令則從 master的連接池取連接然后執(zhí)行，如果是讀命令則從slave的連接池中取出連接執(zhí)行
可能有多個(gè)slave節(jié)點(diǎn)，可以按照一定的策略進(jìn)行負(fù)載均衡(權(quán)重、隨機(jī)、輪詢...etc) 從其中一個(gè) slave節(jié)點(diǎn)的連接池獲取連接

大概長(zhǎng)這樣：

高可用版本

前面的實(shí)現(xiàn)方式正常情況下是可以的

但是:
(1) 如果運(yùn)行期間 master掛了怎么辦？如何自動(dòng) failover 切換？
(2) 如果流量突增，需要?jiǎng)討B(tài)擴(kuò)容一個(gè)或多個(gè) slave節(jié)點(diǎn)，如何動(dòng)態(tài)生效？

那就不能從配置文件取master和slaves的 ip+port 了，得從redis ha的組件去動(dòng)態(tài)獲取當(dāng)前master 和可用slave列表的節(jié)點(diǎn)信息 => sentinel

1.初始化

向 sentinel 發(fā)送命令獲取master和slaves的節(jié)點(diǎn)信息

//獲取當(dāng)前masterName標(biāo)識(shí)的當(dāng)前master節(jié)點(diǎn)信息，哨兵可監(jiān)控多個(gè) mater ha，所以要用<masterName>區(qū)分
SENTINEL get-master-addr-by-name <masterName>
//獲取可用的slaves列表信息
SENTINEL slaves <masterName>

拿到連接后，繼續(xù)用開(kāi)頭的方式去創(chuàng)建連接池就行了

2. 動(dòng)態(tài)failover、擴(kuò)容

初始化完畢后，在運(yùn)行期間master節(jié)點(diǎn)，和slaves還是可能變化的，如
(1) master故障、網(wǎng)絡(luò)分區(qū)，sentinel 提升一個(gè)slave為新的master
(2) 新增slave節(jié)點(diǎn)應(yīng)對(duì)突增流量

我們?nèi)绾文懿恢貑⒖蛻舳说那闆r下，動(dòng)態(tài)切換？

sentinel 在進(jìn)行master切換、slave變更等操作的時(shí)候都會(huì)向?qū)?yīng)的 channel 發(fā)布事件，我們可以基于這些事件感知到相應(yīng)的變化
參考： https://redis.io/topics/sentinel

2.1 failover切換 master

當(dāng) sentinel 進(jìn)行master failover切換的時(shí)候，它會(huì)向channel： switch-master 發(fā)送通知，我們?cè)诳蛻舳擞嗛嗊@個(gè)channel，收到事件后，重新進(jìn)行初始化的步驟即可

2.2 擴(kuò)容slave

當(dāng)新的 slave 節(jié)點(diǎn)加入， sentinel 感知到則會(huì)向channel: +slave 發(fā)布事件，我們監(jiān)聽(tīng)到后，重新獲取slaves節(jié)點(diǎn)信息重建slaves的連接池就可以了（這邊不涉及master的變化）