快捷導(dǎo)航

在redis中防止消息丟失的機(jī)制

更新時(shí)間：2023年02月08日 08:26:09 作者：葉秋

在項(xiàng)目中，由于網(wǎng)絡(luò)問(wèn)題，我們很難保證生產(chǎn)者發(fā)送的消息能100%到達(dá)消息隊(duì)列服務(wù)器，也就是說(shuō)有消息丟失的可能性，因此，生產(chǎn)者就必須具有消息丟失檢測(cè)和重發(fā)機(jī)制，這篇文章主要介紹了如何在redis中防止消息丟失,需要的朋友可以參考下

如何在redis中防止消息丟失

前言

在項(xiàng)目中，由于網(wǎng)絡(luò)問(wèn)題，我們很難保證生產(chǎn)者發(fā)送的消息能100%到達(dá)消息隊(duì)列服務(wù)器，也就是說(shuō)有消息丟失的可能性，因此，生產(chǎn)者就必須具有消息丟失檢測(cè)和重發(fā)機(jī)制，也就是我們常說(shuō)的消息隊(duì)列的事物機(jī)制。

不能把可靠性的保證全部交給TCP，TCP只保證了傳輸層的可靠傳輸，但是無(wú)法保證與應(yīng)用層的交互是否出錯(cuò) TCP無(wú)法給應(yīng)用層任何反饋，因此必須在應(yīng)用層處理差錯(cuò)

同步的事務(wù)——停止等待

所謂停止等待協(xié)議就是沒(méi)發(fā)送完一組數(shù)據(jù)后，等待對(duì)方確認(rèn)并且收到確認(rèn)后，再發(fā)送下一組數(shù)據(jù)。

在這里插入圖片描述

同步的事務(wù)——連續(xù)ARQ

類似于TCP的滑動(dòng)窗口模型

在這里插入圖片描述

異步的事務(wù)——回調(diào)機(jī)制

生產(chǎn)者在發(fā)送消息的時(shí)候，注冊(cè)一個(gè)回調(diào)函數(shù)，這樣生產(chǎn)者便不用停下來(lái)等待確認(rèn)了，而是可以一直持續(xù)發(fā)送消息，當(dāng)消息到達(dá)消息隊(duì)列服務(wù)器的時(shí)候，服務(wù)器便會(huì)調(diào)用生產(chǎn)者注冊(cè)的回調(diào)函數(shù)，告知生產(chǎn)者消息發(fā)送成功了還是失敗了，進(jìn)而做進(jìn)一步的處理，從而提高了并發(fā)量。

在這里插入圖片描述

消息的冪等處理

由于網(wǎng)絡(luò)原因，生產(chǎn)者可能會(huì)重復(fù)發(fā)送消息，因此消費(fèi)者方必須做消息的冪等處理，常用的解決方案有:

查詢操作：查詢一次和查詢多次，在數(shù)據(jù)不變的情況下，查詢結(jié)果是一樣的。select是天然的冪等操作;
刪除操作：刪除操作也是冪等的，刪除一次和多次刪除都是把數(shù)據(jù)刪除。(注意可能返回結(jié)果不一樣，刪除的數(shù)據(jù)不存在，返回0，刪除的數(shù)據(jù)多條，返回結(jié)果多個(gè)) ;
唯一索引，防止新增臟數(shù)據(jù)。比如:支付寶的資金賬戶，支付寶也有用戶賬戶，每個(gè)用戶只能有一個(gè)資金賬戶，怎么防止給用戶創(chuàng)建資金賬戶多個(gè)，那么給資金賬戶表中的用戶ID加唯一索引，所以一個(gè)用戶新增成功一個(gè)資金賬戶記錄。要點(diǎn):唯一索引或唯一組合索引來(lái)防止新增數(shù)據(jù)存在臟數(shù)據(jù)(當(dāng)表存在唯一索引，并發(fā) 時(shí)新增報(bào)錯(cuò)時(shí)，再查詢一次就可以了，數(shù)據(jù)應(yīng)該已經(jīng)存在了，返回結(jié)果即可);
token機(jī)制，防止頁(yè)面重復(fù)提交。業(yè)務(wù)要求: 頁(yè)面的數(shù)據(jù)只能被點(diǎn)擊提交一次;發(fā)生原因: 由于重復(fù)點(diǎn)擊或者網(wǎng)絡(luò)重發(fā)，或者nginx重發(fā)等情況會(huì)導(dǎo)致數(shù)據(jù)被重復(fù)提交;解決辦法: 集群環(huán)境采用token加redis(redis單線程的，處理需要排隊(duì));單JVM環(huán)境:采用token加redis或token加jvm內(nèi)存。處理流程:1. 數(shù)據(jù)提交前要向服務(wù)的申請(qǐng)token，token放到redis或jvm內(nèi)存，token有效時(shí)間;2. 提交后后臺(tái)校驗(yàn)token，同時(shí)刪除 token，生成新的token返回。token特點(diǎn):要申請(qǐng)，一次有效性，可以限流。注意:redis要用刪除操作來(lái)判斷token，刪除成功代表token校驗(yàn)通過(guò)，如果用select+delete來(lái)校驗(yàn)token，存在并發(fā)問(wèn)題，不建議使用;
悲觀鎖——獲取數(shù)據(jù)的時(shí)候加鎖獲取。select * from table_xxx where id=‘xxx’ for update; 注意:id字段一定是主鍵或者唯一索引，不然是鎖表，會(huì)死人的悲觀鎖使用時(shí)一般伴隨事務(wù)一起使用，數(shù)據(jù)鎖定時(shí)間可能會(huì) 很長(zhǎng)，根據(jù)實(shí)際情況選用;
樂(lè)觀鎖——樂(lè)觀鎖只是在更新數(shù)據(jù)那一刻鎖表，其他時(shí)間不鎖表，所以相對(duì)于悲觀鎖，效率更高。樂(lè)觀鎖的實(shí)現(xiàn)方式多種多樣可以通過(guò)version或者其他狀態(tài)條件:1. 通過(guò)版本號(hào)實(shí)現(xiàn)update table_xxx set name=#name#,version=version+1 where version=#version#如下圖(來(lái)自網(wǎng)上);2. 通過(guò)條件限制 update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0要求: quality-#subQuality# >= ，這個(gè)情景適合不用版本號(hào)，只更新是做數(shù)據(jù)安全校驗(yàn)，適合庫(kù)存模型，扣份額和回滾份額，性能更高;
分布式鎖——還是拿插入數(shù)據(jù)的例子，如果是分布是系統(tǒng)，構(gòu)建全局唯一索引比較困難，例如唯一性的字段沒(méi)法確定，這時(shí)候可以引入分布式鎖，通過(guò)第三方的系統(tǒng)(redis或zookeeper)，在業(yè)務(wù)系統(tǒng)插入數(shù)據(jù)或者更新數(shù)據(jù)，獲取分布式鎖，然后做操作，之后釋放鎖，這樣其實(shí)是把多線程并發(fā)的鎖的思路，引入多多個(gè)系統(tǒng)，也就是分布式系統(tǒng)中得解決思路。要點(diǎn):某個(gè)長(zhǎng)流程處理過(guò)程要求不能并發(fā)執(zhí)行，可以在流程執(zhí)行之前根據(jù)某個(gè)標(biāo)志(用戶ID+后綴等)獲取分布式鎖，其他流程執(zhí)行時(shí)獲取鎖就會(huì)失敗，也就是同一時(shí)間該流程只能有一個(gè)能執(zhí)行成功，執(zhí)行完成后，釋放分布式鎖(分布式鎖要第三方系統(tǒng)提供);
select + insert——并發(fā)不高的后臺(tái)系統(tǒng)，或者一些任務(wù)JOB，為了支持冪等，支持重復(fù)執(zhí)行，簡(jiǎn)單的處理方法是，先查詢下一些關(guān)鍵數(shù)據(jù)，判斷是否已經(jīng)執(zhí)行過(guò)，在進(jìn)行業(yè)務(wù)處理，就可以了。注意:核心高并發(fā)流程不要用這種方法;

到此這篇關(guān)于如何在redis中防止消息丟失的文章就介紹到這了,更多相關(guān)redis防止消息丟失內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: