最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

詳解Redis緩存與Mysql如何保證雙寫一致

 更新時(shí)間:2023年12月01日 08:10:03   作者:Lxlxxx  
緩存和數(shù)據(jù)庫如何保證數(shù)據(jù)的一致是個(gè)很經(jīng)典的問題,這篇文章就來和大家一起探討一下Redis緩存與Mysql如何保證雙寫一致,感興趣的小伙伴可以參考下

前言

緩存和數(shù)據(jù)庫如何保證數(shù)據(jù)的一致是個(gè)很經(jīng)典的問題,關(guān)于先更新緩存,還是先更新數(shù)據(jù)庫,或者先刪除緩存,還是先刪除數(shù)據(jù)的先后問題,再讀寫并發(fā)的場(chǎng)景下很難做到數(shù)據(jù)一致,我認(rèn)為比較好的兩種方案: 一種是我們經(jīng)常說的延遲雙刪機(jī)制,但是這個(gè)延遲的時(shí)間是無法很準(zhǔn)確的把握的,還有如果緩存刪除失敗了應(yīng)該如何處理,總體來說還是不保險(xiǎn)的; 另外一種我認(rèn)為是比較可行的方法,要引入阿里的canal,通過拉取binlog日志解析推送的MQ實(shí)現(xiàn)異步更新緩存,達(dá)到最終緩存和數(shù)據(jù)庫的一致性;

延遲雙刪策略

基本流程就是客戶端A請(qǐng)求,先去刪除緩存,然后將數(shù)據(jù)寫入數(shù)據(jù)庫,此時(shí)客戶端B查詢先去查詢緩存,緩存沒有返回,去查數(shù)據(jù)庫,此時(shí)還沒有完成主從同步,拿到是從庫的舊數(shù)據(jù),然后將舊數(shù)據(jù)進(jìn)行緩存,在客戶端A完成主從同步后,再次刪除緩存,這時(shí)數(shù)據(jù)才是一致的,但是重點(diǎn)就是在休眠的幾秒鐘,會(huì)造成數(shù)據(jù)的不一致性;

注意點(diǎn):第二次刪除緩存如果失敗,那么緩存里面大概率還是舊數(shù)據(jù); 所以第二次緩存刪除重試的方法比較關(guān)鍵:

  • 一種:失敗記錄寫表,起定時(shí)任務(wù)去掃描表進(jìn)行重試,顯然這種方式并不會(huì)很好,會(huì)對(duì)數(shù)據(jù)庫造成很大的壓力;
  • 另外一種:異步處理,利用消息隊(duì)列,將消息放在隊(duì)列中,緩解數(shù)據(jù)庫壓力,但是要增加對(duì)消息隊(duì)列的維護(hù);

簡(jiǎn)單寫個(gè)延遲雙刪的demo

@RestController
@RequestMapping
public class RedisController {


    @Autowired
    private RedisTemplate redisTemplate;
    @Autowired
    private SysUserMapper sysUserMapper;


    @GetMapping
    public void duobleCancle() throws InterruptedException {

        //刪除緩存
        redisTemplate.delete("1");

        //獲取數(shù)據(jù)
        SysUser sysUser = sysUserMapper.selectUserById(Long.valueOf(1));

        //更新數(shù)據(jù)
        SysUser updateSysUser =new SysUser();
        updateSysUser.setUserName("Lxlxxx");
        updateSysUser.setEmail("@163.com");

        UpdateWrapper<SysUser> updateWrapper = new UpdateWrapper();
        updateWrapper.eq("userId",1);

        sysUserMapper.update(updateSysUser,updateWrapper);

        //休眠時(shí)間這里的設(shè)定,是根據(jù)讀業(yè)務(wù)的同步時(shí)間來設(shè)定的,這是一個(gè)大概的范圍
        Thread.sleep(3000);

        //將讀取的數(shù)據(jù)放入緩存
        redisTemplate.opsForValue().append(sysUser.getUserId(), JSON.toJSONString(sysUser));


        //第二次刪除緩存
        //如果刪除失敗,緩存里面存的應(yīng)該還是舊數(shù)據(jù),后面線程讀的還是舊數(shù)據(jù),實(shí)際數(shù)據(jù)庫已經(jīng)是新數(shù)據(jù)了
        redisTemplate.delete("1");
    }

由此可見問題還是比較多的,如果這么在項(xiàng)目中使用這種寫法,那最終還是會(huì)讀取到臟數(shù)據(jù);

基于訂閱binlog異步更新緩存

大致的流程是這樣的:

具體binlog訂閱實(shí)現(xiàn)

步驟:先安裝canal、然后安裝rabbitmq、然后就是mysql

Canal配置,因?yàn)閏anal支持 tcp, kafka, rocketMQ, rabbitMQ這四種異步的方式,這里我們使用 rabbitMQ,所以將serverMode配置成rabbitMQ

#編輯conf/canal.properties,修改MQ配置
canal.ip = 1 #canal服務(wù)器標(biāo)識(shí)
canal.serverMode = rabbitmq # 指定rabbitmq
canal.mq.servers = 127.0.0.1 ##
canal.mq.vhost=canal  #MQ虛擬機(jī)名稱
canal.mq.exchange=exchange.trade #交換機(jī)名稱,用于將消息發(fā)送到綁定的隊(duì)列
canal.mq.username=guest #MQ登錄賬號(hào),注意要有上面vhost的權(quán)限
canal.mq.password=guest #MQ密碼
---------------------------------------------------------------------------------
#編輯conf/example/instance.properties實(shí)例配置,配置數(shù)據(jù)庫信息
canal.instance.dbUsername=root
canal.instance.dbPassword=123456
canal.instance.mysql.slaveId=1234 
canal.instance.master.address=127.0.0.1:3306 ## 數(shù)據(jù)庫地址
canal.instance.defaultDatabaseName=test ## 數(shù)據(jù)庫名
canal.mq.topic=example # 路由鍵,需要跟MQ中交換機(jī)隊(duì)列的綁定路由key保持一致

mysql的my.cnf配置

#增加以下配置
log-bin=mysql-bin # 開啟 binlog
binlog-format=ROW # 選擇 ROW 模式
server_id=1 # 配置 

引入依賴,我分別引入的是redis、rabbitmq、mybatis-plus、fastsjon的包

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
?
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>
?
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-amqp</artifactId>
        </dependency>
?
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.3</version>
        </dependency>
                <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>${mybatis.plus.version}</version>
        </dependency>

application.yml配置文件

spring:
  rabbitmq:
    virtual-host: canal
    host: 127.0.0.1
    publisher-confirms: true
  #數(shù)據(jù)源
  datasource:
    url: jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=UTC
    username: root
    password: root
    driver-class-name: com.mysql.jdbc.Driver
  redis:
    host: 127.0.0.1
?

RabbitmqConfig配置

@Configuration
public class RabbitMqConfig {
    @Bean
    public Queue TestDirectQueue() {
        return new Queue("exchange.canal.queue",true);
    }
    //Direct交換機(jī) 起名:exchange.trade
    @Bean
    DirectExchange TestDirectExchange() {
        return new DirectExchange("exchange.canal");
    }
    //綁定  隊(duì)列和交換機(jī)綁定
    @Bean
    Binding bindingDirect() {
        return BindingBuilder.bind(TestDirectQueue()).to(TestDirectExchange()).with("example");
    }
}

RabbitMqListener監(jiān)聽消息異步處理 canal拉取的binlog日志

@Component
@Slf4j
public class RabbitMqListener {
    @Autowired
    private StringRedisTemplate redisTemplate;
    @RabbitListener(queues = "exchange.canal.queue")
    public void process(Message message) {
        log.info("canal queue消費(fèi)的消息" + message.getBody());
        Map map = JSON.parseObject(message.getBody(), Map.class);
        JSONArray array = null;
        String sqlType = (String) map.get("type");
        //如果是查詢,則去獲取data數(shù)據(jù)
        if (StringUtils.endsWithIgnoreCase("SELECT", sqlType)) {
            array = JSONArray.parseArray((String) map.get("data"));
        }
        if (null == array) {
            return;
        }
        JSONObject jsonObject = array.getJSONObject(0);
        //如果是update、insert 其中一個(gè)則去更新緩存
        if (StringUtils.endsWithIgnoreCase("UPDATE", sqlType)
                || StringUtils.endsWithIgnoreCase("INSERT", sqlType)) {
            redisTemplate.boundValueOps(jsonObject.get("code").toString()).set(jsonObject.toString());
            //反之類型為"delete"則去刪除緩存
        } else if (StringUtils.endsWithIgnoreCase("DELETE", sqlType)) {
            redisTemplate.delete(jsonObject.get("code").toString());
        }
        //查詢到新的數(shù)據(jù)去更新緩存 ,反之再去刪除對(duì)應(yīng)的緩存,這里進(jìn)行二次刪除
        if (StringUtils.endsWithIgnoreCase("SELECT", sqlType)) {
            redisTemplate.boundValueOps(jsonObject.get("code").toString()).set(jsonObject.toString());
        } else {
            redisTemplate.delete(jsonObject.get("code").toString());
        }
    }
}

總結(jié)

在高并發(fā)的場(chǎng)景下緩存和數(shù)據(jù)庫的一致性的問題,永遠(yuǎn)是個(gè)比較大的問題,在請(qǐng)求量很大的情況下,我們必須使用緩存來減少數(shù)據(jù)庫的壓力,但是我們需要對(duì)數(shù)據(jù)庫進(jìn)行頻繁更新,其實(shí)基本保證不了瞬間的一致性,只能在最終保證一致性,通過消息異步的方式可以有效的控制緩存更新、刪除的可靠性。

到此這篇關(guān)于詳解Redis緩存與Mysql如何保證雙寫一致的文章就介紹到這了,更多相關(guān)Redis緩存Mysql雙寫一致內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 一文帶你了解Redis的三種集群模式

    一文帶你了解Redis的三種集群模式

    Redis?的常用的集群方式主要有以下三種,分別是主從復(fù)制模式、哨兵模式、Redis-Cluster集群模式,那么下面我們就分別了解一下這三種集群模式的優(yōu)點(diǎn)與缺點(diǎn)
    2023-06-06
  • 如何利用Redis?List實(shí)現(xiàn)Java數(shù)據(jù)庫分頁快速查詢

    如何利用Redis?List實(shí)現(xiàn)Java數(shù)據(jù)庫分頁快速查詢

    這篇文章主要給大家介紹了關(guān)于如何利用Redis?List實(shí)現(xiàn)Java數(shù)據(jù)庫分頁快速查詢的相關(guān)資料,Redis是一個(gè)高效的內(nèi)存數(shù)據(jù)庫,它支持包括String、List、Set、SortedSet和Hash等數(shù)據(jù)類型的存儲(chǔ),需要的朋友可以參考下
    2024-02-02
  • redis 替代php文件存儲(chǔ)session的實(shí)例

    redis 替代php文件存儲(chǔ)session的實(shí)例

    這篇文章主要介紹了redis 替代php文件存儲(chǔ)session的實(shí)例的相關(guān)資料,希望通過本文能幫助到大家,讓大家掌握這樣的方法,需要的朋友可以參考下
    2017-10-10
  • windows 64位下redis安裝教程

    windows 64位下redis安裝教程

    這篇文章主要為大家詳細(xì)介紹了windows 64位下redis安裝教程,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2017-10-10
  • Redis分布式限流的幾種實(shí)現(xiàn)

    Redis分布式限流的幾種實(shí)現(xiàn)

    分布式限流是指通過將限流策略嵌入到分布式系統(tǒng)中,以控制流量或保護(hù)服務(wù),本文就來介紹一下Redis分布式限流的幾種實(shí)現(xiàn),感興趣的可以了解一下
    2023-12-12
  • redis限流的實(shí)際應(yīng)用

    redis限流的實(shí)際應(yīng)用

    這篇文章主要介紹了redis限流的實(shí)際應(yīng)用,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-04-04
  • Redis高效安全的遍歷所有key的幾種方法

    Redis高效安全的遍歷所有key的幾種方法

    在 Redis 中,遍歷所有的 key 是一個(gè)相對(duì)昂貴的操作,特別是當(dāng)你有大量的數(shù)據(jù)時(shí),直接使用 KEYS 命令會(huì)導(dǎo)致阻塞,這對(duì)于大規(guī)模的 Redis 實(shí)例來說是非常不安全的,所以本文給大家介紹了幾種Redis高效安全的遍歷所有key的方法,需要的朋友可以參考下
    2025-08-08
  • Redis數(shù)據(jù)導(dǎo)出之多文件輸出與編碼問題的完整解決方案

    Redis數(shù)據(jù)導(dǎo)出之多文件輸出與編碼問題的完整解決方案

    Python作為數(shù)據(jù)處理的重要工具,結(jié)合Redis模塊可以輕松實(shí)現(xiàn)這一功能,然而,在實(shí)際操作過程中會(huì)出現(xiàn)多文件輸出混亂和字符編碼錯(cuò)誤,下面我們來看看具體的解決方法吧
    2025-08-08
  • Redis實(shí)現(xiàn)每周熱評(píng)的項(xiàng)目實(shí)踐

    Redis實(shí)現(xiàn)每周熱評(píng)的項(xiàng)目實(shí)踐

    實(shí)時(shí)統(tǒng)計(jì)和展示熱門內(nèi)容是一種常見的需求,本文主要介紹了Redis實(shí)現(xiàn)每周熱評(píng)的項(xiàng)目實(shí)踐,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2024-03-03
  • 詳解Redis中的雙鏈表結(jié)構(gòu)

    詳解Redis中的雙鏈表結(jié)構(gòu)

    這篇文章主要介紹了Redis中的雙鏈表結(jié)構(gòu),包括listNode結(jié)構(gòu)的API,需要的朋友可以參考下
    2015-08-08

最新評(píng)論

苗栗县| 八宿县| 许昌县| 于都县| 温州市| 资中县| 萝北县| 禹州市| 祁东县| 阿克苏市| 宁化县| 永兴县| 广宁县| 岳阳市| 平邑县| 琼结县| 彭山县| 张家界市| 商水县| 木兰县| 天津市| 仁化县| 宁海县| 邮箱| 大新县| 嘉善县| 浦北县| 鄂尔多斯市| 镇远县| 海盐县| 灵宝市| 上林县| 措勤县| 凌源市| 扶绥县| 边坝县| 泾源县| 邹平县| 阳朔县| 湘潭市| 巧家县|