最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Java滑動窗口實(shí)現(xiàn)線程池并發(fā)度控制的方法詳解

 更新時間:2026年04月13日 10:57:11   作者:樺說編程  
Java并發(fā)線程池是一種用于管理和復(fù)用線程的機(jī)制,它簡化了線程的生命周期管理,提高了資源利用率和程序響應(yīng)速度,這篇文章主要介紹了Java滑動窗口實(shí)現(xiàn)線程池并發(fā)度控制的相關(guān)資料,需要的朋友可以參考下

前言

本文深入解析了如何使用 ExecutorCompletionService 和 Guava ListenableFuture 實(shí)現(xiàn)并發(fā)度可控的任務(wù)執(zhí)行器,幫助你掌握生產(chǎn)級并發(fā)編程的核心技巧。

問題背景

在高并發(fā)場景下,我們可能面臨這樣的需求(僅為例子):

場景:火車票查詢系統(tǒng),用戶輸入北京到上海,需要查詢100個車次的余票信息。

需求

  • 批量查詢:并發(fā)調(diào)用100個車次的余票查詢接口
  • 限制并發(fā)度:12306限流,單個應(yīng)用最多10個并發(fā),超過會返回"請稍后再試"
  • 盡快返回:不能等全部查完,需要立即返回Future供上層組合(邊查邊展示)
  • 按序映射:返回的Future列表要和車次列表一一對應(yīng)(G1-G100)

傳統(tǒng)方案的痛點(diǎn):

方案問題
ExecutorService.invokeAll()阻塞等待所有任務(wù)完成,無法立即返回
CompletableFuture.allOf()無法控制并發(fā)度,100個請求同時發(fā)出觸發(fā)限流
自己用 Semaphore代碼復(fù)雜,需要手動管理信號量和異常
分批執(zhí)行(10個一批)任務(wù)執(zhí)行時間不均勻,短任務(wù)等待長任務(wù),資源利用率低

優(yōu)化方案:滑動窗口 - 初始提交10個,每完成一個立即補(bǔ)充下一個,保持10個并發(fā)。

代碼實(shí)現(xiàn)

/**
 * 并發(fā)限制執(zhí)行器
 * <p>
 * 核心功能:控制任務(wù)并發(fā)度,采用滑動窗口策略
 * <p>
 * 知識點(diǎn):
 * 1. ExecutorCompletionService - 按完成順序獲取任務(wù)結(jié)果
 * 2. ListenableFuture - Guava 可監(jiān)聽 Future
 * 3. SettableFuture - 可手動設(shè)置結(jié)果的 Future
 * 4. 滑動窗口并發(fā)控制 - 初始提交N個,每完成一個立即補(bǔ)充下一個
 *
 * @author 樺說編程
 */
@Value
public class ConcurrentLimitExecutor<V> {
    ListeningExecutorService pool;
    int parallelism;
    BlockingQueue<Future<V>> q;
    ExecutorCompletionService<V> cs = new ExecutorCompletionService<>(pool, q);
    ListeningExecutorService submitter = MoreExecutors.listeningDecorator(
            Executors.newSingleThreadExecutor());
    /**
     * 提交所有任務(wù),立即返回Future列表
     *
     * @param tasks 待執(zhí)行的任務(wù)列表
     * @return Future列表,順序與tasks一致
     */
    @SuppressWarnings("unchecked")
    public List<ListenableFuture<V>> submitAll(List<Callable<V>> tasks) {
        if (tasks.isEmpty()) {
            return ImmutableList.of();
        }
        // 創(chuàng)建結(jié)果占位符,數(shù)量等于任務(wù)數(shù)量
        List<SettableFuture<V>> result = IntStream.range(0, tasks.size())
                .mapToObj(__ -> SettableFuture.<V>create())
                .collect(toImmutableList());
        // 首批提交數(shù)量
        int start = Math.min(tasks.size(), parallelism);
        // 提交首批任務(wù)
        for (int i = 0; i < start; i++) {
            ListenableFuture<V> f = (ListenableFuture<V>) cs.submit(tasks.get(i));
            linkFuture(f, result.get(i));
        }
        // 異步提交剩余任務(wù)
        submitter.submit(() -> submitRemaining(tasks, result, start));
        return (List<ListenableFuture<V>>) (List<?>) result;
    }
    /**
     * 提交剩余任務(wù)(在獨(dú)立線程中執(zhí)行)
     * <p>
     * 流程:
     * 1. 等待任意任務(wù)完成(cs.take())
     * 2. 提交下一個任務(wù)
     * 3. 將新任務(wù)的Future鏈接到result對應(yīng)位置
     * 4. 重復(fù)直到所有任務(wù)提交完
     */
    @SneakyThrows
    private void submitRemaining(List<Callable<V>> tasks,
                                 List<SettableFuture<V>> result,
                                 int start) {
        int index = start;
        int size = tasks.size();
        while (index < size) {
            // 阻塞等待任意任務(wù)完成(釋放一個并發(fā)槽位)
            cs.take();
            // 提交下一個任務(wù)
            ListenableFuture<V> f = (ListenableFuture<V>) cs.submit(tasks.get(index));
            // 鏈接結(jié)果到對應(yīng)位置
            linkFuture(f, result.get(index));
            index++;
        }
    }
    private void linkFuture(ListenableFuture<V> from, SettableFuture<V> to) {
        to.setFuture(from);
    }
}

關(guān)鍵設(shè)計點(diǎn)

設(shè)計元素說明
result 數(shù)量等于 tasks.size(),每個任務(wù)都有對應(yīng)的 Future
linkFuture將 cs 返回的 Future 鏈接到 result 中對應(yīng)位置
異步補(bǔ)充使用 submitter 線程池異步提交剩余任務(wù),不阻塞調(diào)用方
立即返回submitAll() 立即返回,上層可用 Futures.allAsList() 組合

核心知識點(diǎn)

1. ExecutorCompletionService

JDK提供的任務(wù)完成服務(wù),核心能力是按完成順序獲取結(jié)果。

ExecutorService pool = Executors.newFixedThreadPool(10);
ExecutorCompletionService<Train> cs = new ExecutorCompletionService<>(pool);
// 提交任務(wù)
cs.submit(() -> queryTrain("G1"));
cs.submit(() -> queryTrain("G2"));
// 阻塞獲取最先完成的結(jié)果(而不是提交順序)
Future<Train> first = cs.take();  // 誰先完成就拿到誰
Future<Train> second = cs.take();

原理

┌─────────────────────────────────────────────┐
│      ExecutorCompletionService              │
├─────────────────────────────────────────────┤
│  - executor: ExecutorService                │
│  - completionQueue: BlockingQueue<Future>   │
├─────────────────────────────────────────────┤
│  + submit(Callable): Future                 │
│  + take(): Future  // 阻塞獲取已完成的      │
│  + poll(): Future  // 非阻塞獲取            │
└─────────────────────────────────────────────┘
         │
         │ 任務(wù)完成時自動放入隊列
         ▼
┌─────────────────────────────────────────────┐
│     BlockingQueue<Future<V>>                │
│  ┌──────┐  ┌──────┐  ┌──────┐              │
│  │Future│  │Future│  │Future│  ...         │
│  └──────┘  └──────┘  └──────┘              │
│   已完成    已完成    已完成                 │
└─────────────────────────────────────────────┘

關(guān)鍵點(diǎn)

  • 提交任務(wù)時包裝Future,添加完成回調(diào)
  • 任務(wù)完成后自動將Future放入completionQueue
  • take()從隊列獲取,天然按完成順序

2. Guava ListenableFuture

標(biāo)準(zhǔn)Future的增強(qiáng)版,支持回調(diào)監(jiān)聽。

// 標(biāo)準(zhǔn)Future:只能輪詢或阻塞
Future<Train> future = executor.submit(() -> queryTrain("G1"));
Train result = future.get(); // 阻塞
// ListenableFuture:注冊回調(diào)
ListeningExecutorService executor = MoreExecutors.listeningDecorator(pool);
ListenableFuture<Train> future = executor.submit(() -> queryTrain("G1"));
// 異步回調(diào)(不阻塞)
future.addListener(() -> {
    System.out.println("G1查詢完成!");
}, directExecutor());
// 或使用Futures工具類
Futures.addCallback(future, new FutureCallback<Train>() {
    public void onSuccess(Train result) { ... }
    public void onFailure(Throwable t) { ... }
}, executor);

核心價值

  • 非阻塞:不需要輪詢isDone()或阻塞get()
  • 組合能力Futures.allAsList(), transform(), catching()
  • 異常傳播:失敗會自動傳播到下游Future

3. SettableFuture

可手動設(shè)置結(jié)果的Future,類似CompletableFuture

SettableFuture<Train> future = SettableFuture.create();
// 在其他線程設(shè)置結(jié)果
future.set(train);                       // 正常完成
future.setException(new TimeoutException());  // 異常完成
future.setFuture(otherFuture);           // 鏈接另一個Future
// 調(diào)用方正常使用
Train result = future.get();

4. 并發(fā)度控制核心思路

滑動窗口策略

假設(shè) parallelism=3, tasks=10(查詢10個車次)
初始狀態(tài):提交前3個車次到線程池
┌───┬───┬───┐ ┌───┬───┬───┬───┬───┬───┬───┐
│ G1│ G2│ G3│ │ G4│ G5│ G6│ G7│ G8│ G9│G10│
└───┴───┴───┘ └───┴───┴───┴───┴───┴───┴───┘
  執(zhí)行中          等待中
G1 完成 → 立即提交 G4
┌───┬───┬───┐ ┌───┬───┬───┬───┬───┬───┐
│   │ G2│ G3│ │ G4│ G5│ G6│ G7│ G8│ G9│G10│
└───┴───┴───┘ └───┴───┴───┴───┴───┴───┴───┘
      執(zhí)行中        等待中
G2 完成 → 立即提交 G5
...
維持窗口大小 = parallelism,任務(wù)完成后立即補(bǔ)充新任務(wù)

實(shí)現(xiàn)要點(diǎn)

  • 使用ExecutorCompletionService.take()等待任意任務(wù)完成
  • 每完成一個,立即從待執(zhí)行隊列提交下一個
  • 保證同時執(zhí)行的任務(wù)數(shù) ≤ parallelism

使用場景

場景說明
批量查詢接口火車票、機(jī)票、酒店查詢,下游限流保護(hù)
批量緩存查詢Redis 連接池有限,控制并發(fā)數(shù)
批量 IO 操作文件讀寫、數(shù)據(jù)庫查詢
爬蟲系統(tǒng)限制爬取速率,避免被封

總結(jié)

  • ExecutorCompletionService - take()按完成順序獲取,支持動態(tài)補(bǔ)充任務(wù)
  • ListenableFuture + SettableFuture - 通過linkFuture將內(nèi)部Future鏈接到返回占位符
  • 雙線程池設(shè)計 - pool執(zhí)行任務(wù),submitter異步補(bǔ)充,不阻塞調(diào)用方
  • 滑動窗口策略 - 初始提交N個,每完成一個立即補(bǔ)充下一個
  • 索引嚴(yán)格對應(yīng) - result數(shù)量等于tasks數(shù)量,result[i]對應(yīng)tasks[i]

核心優(yōu)勢

  • 精確控制并發(fā)度,避免下游限流
  • 立即返回Future,支持流式處理
  • 資源利用率高,短任務(wù)不等待長任務(wù)
  • 代碼簡潔,無需手動管理信號量
  • 代碼沒有實(shí)現(xiàn)中斷處理與取消傳播,感興趣的讀者可以自行實(shí)現(xiàn)(思路:linkFuture支持雙向取消,提交線程響應(yīng)中斷+處理隊列毒丸,考慮以下幾種模式 fail-fast、fail-last、cancelN)

到此這篇關(guān)于Java滑動窗口實(shí)現(xiàn)線程池并發(fā)度控制的文章就介紹到這了,更多相關(guān)Java線程池并發(fā)度控制內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Java并發(fā)編程變量可見性避免指令重排使用詳解

    Java并發(fā)編程變量可見性避免指令重排使用詳解

    這篇文章主要為大家介紹了Java并發(fā)編程變量可見性避免指令重排使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-11-11
  • 使用jasypt在springboot中加密敏感信息

    使用jasypt在springboot中加密敏感信息

    Jasypt是一個簡化Java加密操作的輕量級庫,支持與Spring Boot深度集成,通過ENC(密文)格式實(shí)現(xiàn)配置文件的自動加解密,本文就來介紹一下springboot jasypt 加密敏感,感興趣的可以了解一下
    2026-02-02
  • 詳解java裝飾模式(Decorator Pattern)

    詳解java裝飾模式(Decorator Pattern)

    這篇文章主要為大家詳細(xì)介紹了java裝飾模式Decorator Pattern,這種類型的設(shè)計模式屬于結(jié)構(gòu)型模式,它是作為現(xiàn)有的類的一個包裝,對裝飾器模式感興趣的小伙伴們可以參考一下
    2016-04-04
  • 解決spring data redis的那些坑

    解決spring data redis的那些坑

    這篇文章主要介紹了spring data redis的那些坑,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-09-09
  • Java中Iterator迭代器的使用詳解

    Java中Iterator迭代器的使用詳解

    在程序開發(fā)中,經(jīng)常需要遍歷集合中的所有元素。針對這種需求,JDK專門提供了一個接口java.util.Iterator。本文就來詳細(xì)說說Iterator迭代器的使用,感興趣的可以了解一下
    2022-10-10
  • Java模擬棧和隊列數(shù)據(jù)結(jié)構(gòu)的基本示例講解

    Java模擬棧和隊列數(shù)據(jù)結(jié)構(gòu)的基本示例講解

    這篇文章主要介紹了Java模擬棧和隊列數(shù)據(jù)結(jié)構(gòu)的基本示例,棧的后進(jìn)先出和隊列的先進(jìn)先出是數(shù)據(jù)結(jié)構(gòu)中最基礎(chǔ)的知識,本文則又對Java實(shí)現(xiàn)棧和隊列結(jié)構(gòu)的方法進(jìn)行了細(xì)分,需要的朋友可以參考下
    2016-04-04
  • Java并發(fā)編程之Fork/Join框架詳解

    Java并發(fā)編程之Fork/Join框架詳解

    這篇文章主要介紹了Java并發(fā)編程之Fork/Join框架詳解,Fork/Join框架是Java7提供的一個用于并行執(zhí)行任務(wù)的框架,是一個把大任務(wù)分割成若干個小任務(wù),最終匯總每個小任務(wù)結(jié)果后得到大任務(wù)結(jié)果的框架,需要的朋友可以參考下
    2023-12-12
  • SpringBoot自定義實(shí)現(xiàn)內(nèi)容協(xié)商的三種策略

    SpringBoot自定義實(shí)現(xiàn)內(nèi)容協(xié)商的三種策略

    內(nèi)容協(xié)商是HTTP協(xié)議中的一個重要概念,允許同一資源URL根據(jù)客戶端的偏好提供不同格式的表示,這篇文章主要介紹了SpringBoot自定義實(shí)現(xiàn)內(nèi)容協(xié)商的三種策略,希望對大家有一定的幫助
    2025-04-04
  • Java中InputSteam怎么轉(zhuǎn)String

    Java中InputSteam怎么轉(zhuǎn)String

    面了一位實(shí)習(xí)生,叫他給我說一下怎么把InputStream轉(zhuǎn)換為String,這種常規(guī)的操作,他竟然都沒有用過我準(zhǔn)備結(jié)合工作經(jīng)驗,整理匯集出了InputStream 到String 轉(zhuǎn)換的十八般武藝,助大家闖蕩 Java 江湖一臂之力,需要的朋友可以參考下
    2021-06-06
  • Java如何替換jar中的class文件

    Java如何替換jar中的class文件

    在調(diào)整java代碼過程中會遇到需要改jar包中的class文件的情況,改了如何替換呢?下面小編給大家分享java替換jar中的class文件的操作方法,感興趣的朋友跟隨小編一起看看吧
    2024-02-02

最新評論

宁陵县| 绵阳市| 修文县| 旌德县| 麻江县| 遂平县| 澜沧| 策勒县| 克什克腾旗| 都匀市| 涪陵区| 六枝特区| 驻马店市| 肃南| 同心县| 荔波县| 苍梧县| 宝坻区| 富平县| 宁阳县| 敖汉旗| 河北区| 黔西| 东至县| 龙岩市| 珲春市| 凤阳县| 吴忠市| 武乡县| 福建省| 襄汾县| 林西县| 定远县| 萍乡市| 玉环县| 横山县| 会泽县| 基隆市| 临沧市| 鲁山县| 乌鲁木齐市|