Redis限流的幾種實現(xiàn)
一、簡單的限流
基本原理
當(dāng)系統(tǒng)處理能力有限,如何組織計劃外的請求對系統(tǒng)施壓。首先我們先看下一些簡單的限流策略,防止暴力攻擊。比如要對IP訪問,沒5s只能訪問10次,超過進(jìn)行攔截。

如上圖,一般使用滑動窗口來統(tǒng)計區(qū)間時間內(nèi)的訪問次數(shù)。
使用 zset 記錄 IP 訪問次數(shù),每個 IP 通過 key 保存下來,score 保存當(dāng)前時間戳,value 唯一用時間戳或者UUID來實現(xiàn)
代碼實現(xiàn)
public class RedisLimiterTest {
private Jedis jedis;
public RedisLimiterTest(Jedis jedis) {
this.jedis = jedis;
}
/**
* @param ipAddress Ip地址
* @param period 特定的時間內(nèi),單位秒
* @param maxCount 最大允許的次數(shù)
* @return
*/
public boolean isIpLimit(String ipAddress, int period, int maxCount) {
String key = String.format("ip:%s", ipAddress);
// 毫秒時間戳
long currentTimeMillis = System.currentTimeMillis();
Pipeline pipe = jedis.pipelined();
// redis事務(wù),保證原子性
pipe.multi();
// 存放數(shù)據(jù),value 和 score 都使用毫秒時間戳
pipe.zadd(key, currentTimeMillis, "" + UUID.randomUUID());
// 移除窗口區(qū)間所有的元素
pipe.zremrangeByScore(key, 0, currentTimeMillis - period * 1000);
// 獲取時間窗口內(nèi)的行為數(shù)量
Response<Long> count = pipe.zcard(key);
// 設(shè)置 zset 過期時間,避免冷用戶持續(xù)占用內(nèi)存,這里寬限1s
pipe.expire(key, period + 1);
// 提交事務(wù)
pipe.exec();
pipe.close();
// 比較數(shù)量是否超標(biāo)
return count.get() > maxCount;
}
public static void main(String[] args) {
Jedis jedis = new Jedis("localhost", 6379);
RedisLimiterTest limiter = new RedisLimiterTest(jedis);
for (int i = 1; i <= 20; i++) {
// 驗證IP 10秒鐘之內(nèi)只能訪問5次
boolean isLimit = limiter.isIpLimit("222.73.55.22", 10, 5);
System.out.println("訪問第" + i + "次, 結(jié)果:" + (isLimit ? "限制訪問" : "允許訪問"));
}
}
}
執(zhí)行結(jié)果
訪問第1次, 結(jié)果:允許訪問
訪問第2次, 結(jié)果:允許訪問
訪問第3次, 結(jié)果:允許訪問
訪問第4次, 結(jié)果:允許訪問
訪問第5次, 結(jié)果:允許訪問
訪問第6次, 結(jié)果:限制訪問
訪問第7次, 結(jié)果:限制訪問
... ...
缺點:要記錄時間窗口所有的行為記錄,量很大,比如,限定60s內(nèi)不能超過100萬次這種場景,不太適合這樣限流,因為會消耗大量的儲存空間。
二、漏斗限流
基本原理
- 漏斗的容量是限定的,如果滿了,就裝不進(jìn)去了。
- 如果將漏嘴放開,水就會往下流,流走一部分之后,就又可以繼續(xù)往里面灌水。
- 如果漏嘴流水的速率大于灌水的速率,那么漏斗永遠(yuǎn)都裝不滿。
- 如果漏嘴流水速率小于灌水的速率,那么一旦漏斗滿了,灌水就需要暫停并等待漏斗騰空。
示例代碼
public class FunnelLimiterTest {
static class Funnel {
int capacity; // 漏斗容量
float leakingRate; // 漏嘴流水速率
int leftQuota; // 漏斗剩余空間
long leakingTs; // 上一次漏水時間
public Funnel(int capacity, float leakingRate) {
this.capacity = capacity;
this.leakingRate = leakingRate;
this.leftQuota = capacity;
this.leakingTs = System.currentTimeMillis();
}
void makeSpace() {
long nowTs = System.currentTimeMillis();
long deltaTs = nowTs - leakingTs; // 距離上一次漏水過去了多久
int deltaQuota = (int) (deltaTs * leakingRate); // 騰出的空間 = 時間*漏水速率
if (deltaQuota < 0) { // 間隔時間太長,整數(shù)數(shù)字過大溢出
this.leftQuota = capacity;
this.leakingTs = nowTs;
return;
}
if (deltaQuota < 1) { // 騰出空間太小 就等下次,最小單位是1
return;
}
this.leftQuota += deltaQuota; // 漏斗剩余空間 = 漏斗剩余空間 + 騰出的空間
this.leakingTs = nowTs;
if (this.leftQuota > this.capacity) { // 剩余空間不得高于容量
this.leftQuota = this.capacity;
}
}
boolean watering(int quota) {
makeSpace();
if (this.leftQuota >= quota) { // 判斷剩余空間是否足夠
this.leftQuota -= quota;
return true;
}
return false;
}
}
// 所有的漏斗
private Map<String, Funnel> funnels = new HashMap<>();
/**
* @param capacity 漏斗容量
* @param leakingRate 漏嘴流水速率 quota/s
*/
public boolean isIpLimit(String ipAddress, int capacity, float leakingRate) {
String key = String.format("ip:%s", ipAddress);
Funnel funnel = funnels.get(key);
if (funnel == null) {
funnel = new Funnel(capacity, leakingRate);
funnels.put(key, funnel);
}
return !funnel.watering(1); // 需要1個quota
}
public static void main(String[] args) throws Exception{
FunnelLimiterTest limiter = new FunnelLimiterTest();
for (int i = 1; i <= 50; i++) {
// 每1s執(zhí)行一次
Thread.sleep(1000);
// 漏斗容量是2 ,漏嘴流水速率是0.5每秒,
boolean isLimit = limiter.isIpLimit("222.73.55.22", 2, (float)0.5/1000);
System.out.println("訪問第" + i + "次, 結(jié)果:" + (isLimit ? "限制訪問" : "允許訪問"));
}
}
}
執(zhí)行結(jié)果
訪問第1次, 結(jié)果:允許訪問??? # 第1次,容量剩余2,執(zhí)行后1
訪問第2次, 結(jié)果:允許訪問??? # 第2次,容量剩余1,執(zhí)行后0
訪問第3次, 結(jié)果:允許訪問??? # 第3次,由于過了2s, 漏斗流水剩余1個空間,所以容量剩余1,執(zhí)行后0
訪問第4次, 結(jié)果:限制訪問??? # 第4次,過了1s, 剩余空間小于1, 容量剩余0
訪問第5次, 結(jié)果:允許訪問??? # 第5次,由于過了2s, 漏斗流水剩余1個空間,所以容量剩余1,執(zhí)行后0
訪問第6次, 結(jié)果:限制訪問??? # 以此類推...
訪問第7次, 結(jié)果:允許訪問
訪問第8次, 結(jié)果:限制訪問
訪問第9次, 結(jié)果:允許訪問
訪問第10次, 結(jié)果:限制訪問
我們觀察 Funnel 對象的幾個字段,我們發(fā)現(xiàn)可以將 Funnel 對象的內(nèi)容按字段存儲到一個 hash 結(jié)構(gòu)中,灌水的時候?qū)?hash 結(jié)構(gòu)的字段取出來進(jìn)行邏輯運算后,再將新值回填到 hash 結(jié)構(gòu)中就完成了一次行為頻度的檢測。
但是有個問題,我們無法保證整個過程的原子性。從 hash 結(jié)構(gòu)中取值,然后在內(nèi)存里運算,再回填到 hash 結(jié)構(gòu),這三個過程無法原子化,意味著需要進(jìn)行適當(dāng)?shù)募渔i控制。而一旦加鎖,就意味著會有加鎖失敗,加鎖失敗就需要選擇重試或者放棄。
如果重試的話,就會導(dǎo)致性能下降。如果放棄的話,就會影響用戶體驗。同時,代碼的復(fù)雜度也跟著升高很多。這真是個艱難的選擇,我們該如何解決這個問題呢?Redis-Cell 救星來了!
Redis-Cell
Redis 4.0 提供了一個限流 Redis 模塊,它叫 redis-cell。該模塊也使用了漏斗算法,并提供了原子的限流指令。
該模塊只有1條指令cl.throttle,它的參數(shù)和返回值都略顯復(fù)雜,接下來讓我們來看看這個指令具體該如何使用。
> cl.throttle key:xxx 15 30 60 1
15 : 15 capacity 這是漏斗容量
30 60 : 30 operations / 60 seconds 這是漏水速率
1 : need 1 quota (可選參數(shù),默認(rèn)值也是1)
> cl.throttle laoqian:reply 15 30 60 1) (integer) 0 # 0 表示允許,1表示拒絕 2) (integer) 15 # 漏斗容量capacity 3) (integer) 14 # 漏斗剩余空間left_quota 4) (integer) -1 # 如果拒絕了,需要多長時間后再試(漏斗有空間了,單位秒) 5) (integer) 2 # 多長時間后,漏斗完全空出來(left_quota==capacity,單位秒)
在執(zhí)行限流指令時,如果被拒絕了,就需要丟棄或重試。cl.throttle 指令考慮的非常周到,連重試時間都幫你算好了,直接取返回結(jié)果數(shù)組的第四個值進(jìn)行 sleep 即可,如果不想阻塞線程,也可以異步定時任務(wù)來重試。
參考來源
《Redis深度歷險 核心原理與應(yīng)用實踐》_錢文品
到此這篇關(guān)于Redis限流的幾種實現(xiàn)的文章就介紹到這了,更多相關(guān)Redis限流內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!?
相關(guān)文章
Redis過期Key刪除策略和內(nèi)存淘汰策略的實現(xiàn)
當(dāng)內(nèi)存使用達(dá)到上限,就無法存儲更多數(shù)據(jù)了,為了解決這個問題,Redis內(nèi)部會有兩套內(nèi)存回收的策略,過期Key刪除策略和內(nèi)存淘汰策略,本文就來詳細(xì)的介紹一下這兩種方法,感興趣的可以了解一下2024-02-02
Redis高級數(shù)據(jù)類型Hyperloglog、Bitmap的使用
很多小伙伴在面試中都會被問道 Redis的常用數(shù)據(jù)結(jié)構(gòu)有哪些?可能很大一部分回答都是 string、hash、list、set、zset,但其實還有Hyperloglog和Bitmap,本文就來介紹一下2021-05-05
Redis分布式鎖升級版RedLock及SpringBoot實現(xiàn)方法
這篇文章主要介紹了Redis分布式鎖升級版RedLock及SpringBoot實現(xiàn),本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-02-02
Spring?Boot實戰(zhàn)解決高并發(fā)數(shù)據(jù)入庫之?Redis?緩存+MySQL?批量入庫問題
這篇文章主要介紹了Spring?Boot實戰(zhàn)解決高并發(fā)數(shù)據(jù)入庫之?Redis?緩存+MySQL?批量入庫問題,本文通過圖文實例相結(jié)合給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-02-02
Redis高并發(fā)防止秒殺超賣實戰(zhàn)源碼解決方案
本文主要介紹了Redis高并發(fā)防止秒殺超賣實戰(zhàn)源碼解決方案,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-10-10
redis底層數(shù)據(jù)結(jié)構(gòu)之ziplist實現(xiàn)詳解
這篇文章主要為大家介紹了redis底層數(shù)據(jù)結(jié)構(gòu)之ziplist實現(xiàn)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12

