限流是指在各種應(yīng)用場(chǎng)景中，通過(guò)技術(shù)和策略手段對(duì)數(shù)據(jù)流量、請(qǐng)求頻率或資源消耗進(jìn)行有計(jì)劃的限制，以避免系統(tǒng)負(fù)載過(guò)高、性能下降甚至崩潰的情況發(fā)生。限流的目標(biāo)在于維護(hù)系統(tǒng)的穩(wěn)定性和可用性，并確保服務(wù)質(zhì)量。

使用限流的好處有以下幾個(gè)：

• 保護(hù)系統(tǒng)穩(wěn)定性：過(guò)多的并發(fā)請(qǐng)求可能導(dǎo)致服務(wù)器內(nèi)存耗盡、CPU 使用率飽和，從而引發(fā)系統(tǒng)響應(yīng)慢、無(wú)法正常服務(wù)的問(wèn)題。
• 防止資源濫用：確保有限的服務(wù)資源被合理公平地分配給所有用戶，防止個(gè)別用戶或惡意程序過(guò)度消耗資源。
• 優(yōu)化用戶體驗(yàn)：對(duì)于網(wǎng)站和應(yīng)用程序而言，如果任由高并發(fā)導(dǎo)致響應(yīng)速度變慢，會(huì)影響所有用戶的正常使用體驗(yàn)。
• 保障安全：在網(wǎng)絡(luò)層面，限流有助于防范 DoS/DDoS 攻擊，降低系統(tǒng)遭受惡意攻擊的風(fēng)險(xiǎn)。
• 運(yùn)維成本控制：合理的限流措施可以幫助企業(yè)減少不必要的硬件投入，節(jié)省運(yùn)營(yíng)成本。

在 Java 中，限流的實(shí)現(xiàn)方式有很多種，例如以下這些：

• 單機(jī)限流：使用 JUC 下的 Semaphore 限流，或一些常用的框架，例如 Google 的 Guava 框架進(jìn)行限流，但這種限流方式都是基于 JVM 層面的內(nèi)存級(jí)別的單臺(tái)機(jī)器限流。
• 網(wǎng)關(guān)層限流：?jiǎn)螜C(jī)限流往往不適用于分布式系統(tǒng)，而分布式系統(tǒng)可以在網(wǎng)關(guān)層限流，如 Spring Cloud Gateway 通過(guò) Sentinel、Hystrix 對(duì)整個(gè)集群進(jìn)行限流。
• Nginx 限流：通常在網(wǎng)關(guān)層的上游，我們會(huì)使用 Nginx 一起來(lái)配合使用，也就是用戶請(qǐng)求會(huì)先到 Nginx（或 Nginx 集群），然后再將請(qǐng)求轉(zhuǎn)發(fā)給網(wǎng)關(guān)，網(wǎng)關(guān)再調(diào)用其他的微服務(wù)，從而實(shí)現(xiàn)整個(gè)流程的請(qǐng)求調(diào)用，因此 Nginx 限流也是分布式系統(tǒng)中常用的限流手段。

它們限流的具體實(shí)現(xiàn)如下。

1.單機(jī)限流

JVM 層面多線程級(jí)別的限流可以使用 JUC 下的 Semaphore，具體使用示例如下：

import java.util.concurrent.Semaphore;
import java.util.concurrent.TimeUnit;

public class SemaphoreExample {

    private final Semaphore semaphore = new Semaphore(5); // 只允許5個(gè)線程同時(shí)訪問(wèn)

    public void accessResource() {
        try {
            semaphore.acquire(); // 獲取許可，如果當(dāng)前許可數(shù)不足，則會(huì)阻塞
            System.out.println(Thread.currentThread().getName() + "獲得了許可，正在訪問(wèn)資源...");
            // 模擬訪問(wèn)資源的時(shí)間消耗
            Thread.sleep(2000);
            System.out.println(Thread.currentThread().getName() + "訪問(wèn)資源結(jié)束，釋放許可...");
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            e.printStackTrace();
        } finally {
            semaphore.release(); // 訪問(wèn)結(jié)束后釋放許可
        }
    }

    public static void main(String[] args) {
        SemaphoreExample example = new SemaphoreExample();

        for (int i = 0; i < 10; i++) {
            new Thread(() -> example.accessResource()).start();
        }
    }
}

想要實(shí)現(xiàn)更平滑的單機(jī)限流，可以考慮 Google 提供的 Guava 框架，它的使用示例如下。

首先在 pom.xml 添加 guava 引用，配置如下：

<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
  <groupId>com.google.guava</groupId>
  <artifactId>guava</artifactId>
  <version>28.2-jre</version>
</dependency>

具體實(shí)現(xiàn)代碼如下：

import com.google.common.util.concurrent.RateLimiter;
import java.time.Instant;

/**
 * Guava 實(shí)現(xiàn)限流
 */
public class RateLimiterExample {
    public static void main(String[] args) {
        // 每秒產(chǎn)生 10 個(gè)令牌（每 100 ms 產(chǎn)生一個(gè)）
        RateLimiter rt = RateLimiter.create(10);
        for (int i = 0; i < 11; i++) {
            new Thread(() -> {
                // 獲取 1 個(gè)令牌，獲取到令牌就執(zhí)行，否則就阻塞等待
                rt.acquire();
                System.out.println("正常執(zhí)行方法，ts:" + Instant.now());
            }).start();
        }
    }
}

2.網(wǎng)關(guān)層限流

在 Spring Cloud Gateway 網(wǎng)關(guān)層限流，可以借助 Sentinel 等限流框架來(lái)實(shí)現(xiàn)，它的實(shí)現(xiàn)步驟如下。

首先，在 pom.xml 中添加 Gateway 和 Sentinel 相關(guān)依賴，如下所示：

<dependency>
  <groupId>com.alibaba.cloud</groupId>
  <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-gateway</artifactId>
</dependency>
<dependency>
  <groupId>com.alibaba.cloud</groupId>
  <artifactId>spring-cloud-alibaba-sentinel-gateway</artifactId>
</dependency>

配置限流相關(guān)的規(guī)則，如下示例所示：

spring:
  application:
    name: gate-way-blog
  cloud:
    sentinel:
      transport:
        dashboard: localhost:18080
      scg: # 配置限流之后，響應(yīng)內(nèi)容
        fallback:
          # 兩種模式，一種是 response 返回文字提示信息，
          # 另一種是 redirect 重定向跳轉(zhuǎn)，不過(guò)配置 redirect 也要配置對(duì)應(yīng)的跳轉(zhuǎn)的 uri
          mode: response
          # 響應(yīng)的狀態(tài)
          response-status: 200
          # 響應(yīng)體
          response-body: '{"code": -10,"message": "被熔斷或限流！"}'

最后在 Sentinel 控制臺(tái)配置網(wǎng)關(guān)的限流設(shè)置即可，當(dāng)然也可以使用 Nacos 作為數(shù)據(jù)源，兩者選擇配置其中一個(gè)即可。

3.Nginx 限流

Nginx 提供了兩種限流手段：

• 通過(guò)控制速率來(lái)實(shí)現(xiàn)限流。
• 通過(guò)控制并發(fā)連接數(shù)來(lái)實(shí)現(xiàn)限流。

我們一個(gè)一個(gè)來(lái)看。

3.1 控制速率實(shí)現(xiàn)限流

我們需要使用 limit_req_zone 用來(lái)限制單位時(shí)間內(nèi)的請(qǐng)求數(shù)，即速率限制，示例配置如下：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
server {
  location / {
    limit_req zone=mylimit;
  }
}

以上配置表示，限制每個(gè) IP 訪問(wèn)的速度為 2r/s，因?yàn)?Nginx 的限流統(tǒng)計(jì)是基于毫秒的，我們?cè)O(shè)置的速度是 2r/s，轉(zhuǎn)換一下就是 500ms 內(nèi)單個(gè) IP 只允許通過(guò) 1 個(gè)請(qǐng)求，從 501ms 開始才允許通過(guò)第 2 個(gè)請(qǐng)求。

我們使用單 IP 在 10ms 內(nèi)發(fā)并發(fā)送了 6 個(gè)請(qǐng)求的執(zhí)行結(jié)果如下：

從以上結(jié)果可以看出他的執(zhí)行符合我們的預(yù)期，只有 1 個(gè)執(zhí)行成功了，其他的 5 個(gè)被拒絕了（第 2 個(gè)在 501ms 才會(huì)被正常執(zhí)行）。

速率限制升級(jí)版

上面的速率控制雖然很精準(zhǔn)但是應(yīng)用于真實(shí)環(huán)境未免太苛刻了，真實(shí)情況下我們應(yīng)該控制一個(gè) IP 單位總時(shí)間內(nèi)的總訪問(wèn)次數(shù)，而不是像上面那么精確但毫秒，我們可以使用 burst 關(guān)鍵字開啟此設(shè)置，示例配置如下：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
server {
  location / {
    limit_req zone=mylimit burst=4;
  }
}

burst=4 表示每個(gè) IP 最多允許4個(gè)突發(fā)請(qǐng)求，如果單個(gè) IP 在 10ms 內(nèi)發(fā)送 6 次請(qǐng)求的結(jié)果如下：

從以上結(jié)果可以看出，有 1 個(gè)請(qǐng)求被立即處理了，4 個(gè)請(qǐng)求被放到 burst 隊(duì)列里排隊(duì)執(zhí)行了，另外 1 個(gè)請(qǐng)求被拒絕了。

3.2 控制并發(fā)數(shù)實(shí)現(xiàn)限流

利用 limit_conn_zone 和 limit_conn 兩個(gè)指令即可控制并發(fā)數(shù)，示例配置如下：

limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;
server {
  ...
  limit_conn perip 10;
  limit_conn perserver 100;
}

其中 limit_conn perip 10 表示限制單個(gè) IP 同時(shí)最多能持有 10 個(gè)連接；limit_conn perserver 100 表示 server 同時(shí)能處理并發(fā)連接的總數(shù)為 100 個(gè)。

小貼士：只有當(dāng) request header 被后端處理后，這個(gè)連接才進(jìn)行計(jì)數(shù)。

課后思考

Semaphore 限流和 Guava 限流有什么區(qū)別？Sentinel 和 Nginx 限流有什么不足？應(yīng)該如何避免？

到此這篇關(guān)于Java面試之限流的實(shí)現(xiàn)方式小結(jié)的文章就介紹到這了,更多相關(guān)Java限流內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論