快捷導(dǎo)航

SpringBoot使用布隆過濾器解決緩存穿透問題

更新時間：2023年10月10日 08:38:09 作者：YIRC99

緩存穿透是指當(dāng)緩存系統(tǒng)中無法命中需要的數(shù)據(jù)時,會直接請求底層存儲系統(tǒng)（如數(shù)據(jù)庫）,但是如果請求的數(shù)據(jù)根本不存在,那么大量的請求就會直接穿透緩存層,本文將給大家介紹一下SpringBoot使用布隆過濾器解決緩存穿透問題,需要的朋友可以參考下

緩存穿透基礎(chǔ)介紹

緩存穿透是指當(dāng)緩存系統(tǒng)中無法命中需要的數(shù)據(jù)時，會直接請求底層存儲系統(tǒng)（如數(shù)據(jù)庫），但是如果請求的數(shù)據(jù)根本不存在，那么大量的請求就會直接穿透緩存層，直接訪問底層存儲系統(tǒng)，導(dǎo)致底層系統(tǒng)壓力過大，甚至崩潰。這也是緩存系統(tǒng)面臨的一種常見攻擊。

說白了就是查詢大量不傳在的key 繞過緩存直接查詢數(shù)據(jù)庫導(dǎo)致緩存跟不不存在一樣這就是緩存穿透

場景介紹

下面說下我的場景我需要添加一個user 然后我再通過id去查詢如果查詢有結(jié)果那就放入緩存如果沒有那就直接查詢數(shù)據(jù)庫 ?

這是添加user的方法

這是查詢user的方法

問題描述

在這兩個方法中我雖然加入的緩存的機制但是在查詢user的方法中會有一個問題就是如果我查詢的id是不存在的那就會一直查詢數(shù)據(jù)庫

@Cacheable(value = "userCache", key = "#id", condition = "#result != null")

當(dāng)然你可以說我去掉注解上面的condition = "#result != null" (這句話意思是condition 條件為真才緩存) 這樣就算我查詢一個不存在的id 然后將一個null或者空對象返回然后再加入緩存不就可以啦下次再去查詢這個不存在的id的時候就不會走數(shù)據(jù)庫了

可是如果我每一次查詢的都是不同的并且不存在的id呢? 那么這個問題還是無法解決那么接下來就可以引入布隆過濾器布隆過濾器具體的原理我這里就不做解釋了

解決問題

第一步在maven中導(dǎo)入布隆過濾器事先說明導(dǎo)入的方法很多我的方法不一定是最優(yōu)的但是一定是能行的

在pom.xml中引入依賴

        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>30.1-jre</version>
        </dependency>
        Guava庫（Google Guava）是一個Google開發(fā)的Java工具庫，
        它提供了許多常用的Java工具類和數(shù)據(jù)結(jié)構(gòu)，包括布隆過濾器（Bloom Filter）

創(chuàng)建項目結(jié)構(gòu) 這個不需要解釋吧能看這種文章的我相信項目結(jié)構(gòu)應(yīng)該都是能看懂的?

AppConfig的代碼如下就是簡單的注入Bean對象

@Configuration
public class AppConfig {
    @Bean
    public BloomFilterService bloomFilterService() {
        return new BloomFilterService();
    }
}

BloomFilterService的代碼如下

public class BloomFilterService {
    private BloomFilter<Long> bloomFilter;
    public BloomFilterService(){
        // 創(chuàng)建一個布隆過濾器，設(shè)置期望插入的元素數(shù)量和誤判率
        int  bloomFilterSize = 1000;  // 期望插入的元素數(shù)量
        double falsePositiveRate = 0.001; // 誤判率
        bloomFilter = BloomFilter.create(Funnels.longFunnel(), bloomFilterSize, falsePositiveRate);
    }
    // 添加元素到布隆過濾器
    public void add(Long id){
        bloomFilter.put(id);
    }
    //判斷元數(shù)是否在布隆過濾器中
    public boolean contains(Long id){
        return bloomFilter.mightContain(id);
    }
}

接下來就是在controller中引入并且使用布隆過濾器了

正常注入

    @Autowired
    private BloomFilterService bloomFilterService;

然后在每一次添加對象之后都將用戶的id添加到布隆過濾器中

    @CachePut(value = "userCache", key = "#user.id") // value 指定緩存的名字
    @PostMapping
    public User save(User user){
        userService.save(user);
        bloomFilterService.add(user.getId()); 
        //這里注意必須要放在添加之后 因為一開始傳過來的user是沒有id的 會有空指針錯誤
        //這里利用的查詢回顯 不懂的可以去查查
        return user;
    }

然后更改查詢方法這樣每一次查詢user的時候都會先過一遍布隆過濾器然后再去查詢用戶如果存在那么就加入緩存不傳在就會被布隆過濾器攔截注意去掉, condition = "#result != null" 這個好像跟布隆有沖突如果有懂的可以在評論區(qū)提一下

    @Cacheable(value = "userCache", key = "#id")
    @GetMapping("/{id}")
    public User getById(@PathVariable Long id){
        if (!bloomFilterService.contains(id)) {
            // ID 不合法，可以返回錯誤響應(yīng)或進(jìn)行其他處理
            return null;
        }
        User byId = userService.getById(id);
        return byId;
    }