關(guān)于線(xiàn)程池異步線(xiàn)程中再次獲取線(xiàn)程池資源的問(wèn)題
問(wèn)題描述
在線(xiàn)上發(fā)生的一次問(wèn)題,在場(chǎng)景中有這樣一個(gè)業(yè)務(wù),需要異步執(zhí)行一個(gè)主任務(wù),主任務(wù)中又包含著N個(gè)子任務(wù),為了整個(gè)主任務(wù)能夠快速處理,又將子任務(wù)按照數(shù)量獲取線(xiàn)程資源異步處理,即異步線(xiàn)程A中再異步調(diào)用A1,A2,A3. A可能同時(shí)存在多個(gè).
實(shí)際場(chǎng)景中,由于系統(tǒng)線(xiàn)程池分配數(shù)量較小,且一段時(shí)間內(nèi)先后啟動(dòng)了多個(gè)主任務(wù),耗時(shí)的主任務(wù)中又用子任務(wù)取申請(qǐng)線(xiàn)程導(dǎo)致線(xiàn)程池資源耗盡
問(wèn)題原因
1. 主任務(wù)是從線(xiàn)程池中獲取的線(xiàn)程資源,同時(shí)主任務(wù)比較耗時(shí)?
2. 每個(gè)主任務(wù)中包含的N的子任務(wù),會(huì)再申請(qǐng)線(xiàn)程,處理完畢釋放回線(xiàn)程池
3. 啟動(dòng)了多個(gè)主任務(wù)時(shí),每個(gè)主任務(wù)在未結(jié)束之前,都會(huì)占用自身一個(gè)線(xiàn)程不會(huì)釋放,消耗一個(gè)線(xiàn)程池資源
4. 后期頻繁啟動(dòng)主任務(wù),可能使數(shù)量=線(xiàn)程池線(xiàn)程數(shù),此時(shí)子任務(wù)無(wú)法再?gòu)木€(xiàn)程池獲得資源,就進(jìn)入隊(duì)列等待
5. 最終結(jié)果就造成了每個(gè)主任務(wù)都占用線(xiàn)程,但主任務(wù)內(nèi)的子任務(wù)無(wú)法獲取線(xiàn)程,線(xiàn)程池癱瘓不可用
問(wèn)題復(fù)現(xiàn)
package test;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.RandomUtils;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
* @title 線(xiàn)程池異步線(xiàn)程中再次獲取線(xiàn)程池資源的問(wèn)題
* @author Xingbz
* @description
* 記;
*
* 究其原因在于:
*
* @createDate 2020-7-17
*/
@Slf4j
public class TestWork {
private static final ThreadPoolTaskExecutor EXECUTOR;
static {
EXECUTOR = myExecutor();
}
/** 初始化線(xiàn)程池 */
public static ThreadPoolTaskExecutor myExecutor() {
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
// 核心線(xiàn)程數(shù)
executor.setCorePoolSize(5);
// 最大線(xiàn)程數(shù)
executor.setMaxPoolSize(20);
// 排隊(duì)任務(wù)隊(duì)列
executor.setQueueCapacity(100);
// 線(xiàn)程名稱(chēng)前綴
executor.setThreadNamePrefix("異步線(xiàn)程-");
// 隊(duì)列滿(mǎn)后拒絕策略
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
// 線(xiàn)程最大回收時(shí)間
executor.setKeepAliveSeconds(100);
// 初始化線(xiàn)程
executor.initialize();
return executor;
}
/** 模擬測(cè)試 */
public static void main(String[] args) throws Exception {
// 主任務(wù)數(shù)量
int mainJobNum = 20;
CountDownLatch mainDownLatch = new CountDownLatch(mainJobNum);
for (int i = 0; i < mainJobNum; i++) {
// 主任務(wù)編號(hào), 方便區(qū)分
int index = i + 1;
// 模擬每1秒開(kāi)始一個(gè)主任務(wù)
TimeUnit.SECONDS.sleep(1);
EXECUTOR.submit(() -> {
try {
log.debug("\t執(zhí)行主任務(wù)" + index);
// 每個(gè)主任務(wù)隨機(jī)包含N個(gè)子任務(wù), 再異步調(diào)用線(xiàn)程池資源處理
int subJobNum = RandomUtils.nextInt(2, 3);
subJobWorkAsync(subJobNum, index);
} finally {
mainDownLatch.countDown();
}
});
}
mainDownLatch.await();
EXECUTOR.shutdown();
log.info("完成所有任務(wù) > > >");
}
/** 異步執(zhí)行子任務(wù) */
private static void subJobWorkAsync(int subJobNum, int index) {
CountDownLatch subDownLatch = new CountDownLatch(subJobNum);
for (int j = 0; j < subJobNum; j++) {
EXECUTOR.submit(() -> {
try {
log.warn("\t\t\t執(zhí)行一個(gè)" + index + "的子任務(wù)");
// 每個(gè)子任務(wù)模擬耗時(shí)
TimeUnit.SECONDS.sleep(3);
} catch (InterruptedException e) {
e.printStackTrace();
} finally {
subDownLatch.countDown();
}
});
}
try {
subDownLatch.await();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}執(zhí)行代碼,結(jié)果如下:

可以看到,線(xiàn)程池很快就被主任務(wù)耗盡, 導(dǎo)致子任務(wù)無(wú)法執(zhí)行.
解決方案
1. 異步線(xiàn)程中不能再獲取異步線(xiàn)程
既然主方法是異步執(zhí)行了,那么其中的子任務(wù)也相對(duì)不那么要求時(shí)間.此處是我為了業(yè)務(wù)給另外一個(gè)業(yè)務(wù)復(fù)用導(dǎo)致了線(xiàn)程再調(diào)線(xiàn)程
2. 如果異步中確實(shí)需要再獲取異步線(xiàn)程,需要使用新的線(xiàn)程池. 不能再使用自身的線(xiàn)程池
這是當(dāng)前我們的解決方案,在系統(tǒng)中又單獨(dú)構(gòu)建了一個(gè)線(xiàn)程池負(fù)責(zé)子任務(wù)的業(yè)務(wù)
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
java基本教程之線(xiàn)程休眠 java多線(xiàn)程教程
本文對(duì)javaThread中sleep()方法進(jìn)行介紹,sleep() 的作用是讓當(dāng)前線(xiàn)程休眠,即當(dāng)前線(xiàn)程會(huì)從“運(yùn)行狀態(tài)”進(jìn)入到“休眠(阻塞)狀態(tài)”,大家參考使用吧2014-01-01
使用Spring自定義注解實(shí)現(xiàn)任務(wù)路由的方法
本篇文章主要介紹了使用Spring自定義注解實(shí)現(xiàn)任務(wù)路由的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-07-07
SpringBoot中利用AOP和攔截器實(shí)現(xiàn)自定義注解
本文將通過(guò)攔截器+AOP實(shí)現(xiàn)自定義注解,在這里攔截器充當(dāng)在指定注解處要執(zhí)行的方法,aop負(fù)責(zé)將攔截器的方法和要注解生效的地方做一個(gè)織入,感興趣的可以嘗試一下2022-06-06
Spring?Boot提高開(kāi)發(fā)效率必備工具lombok使用
這篇文章主要為大家介紹了Spring?Boot提高開(kāi)發(fā)效率的必備工具lombok使用方法示例及步驟說(shuō)明,有需要的朋友可以借鑒參考下,希望能夠有所幫助2022-03-03
MybatisPlus實(shí)現(xiàn)邏輯刪除的示例代碼
本文主要介紹了Mybatis?Plus實(shí)現(xiàn)邏輯刪除的示例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-05-05
MyBatis-Plus:saveOrUpdate根據(jù)指定字段更新或插入方式
這篇文章主要介紹了MyBatis-Plus:saveOrUpdate根據(jù)指定字段更新或插入方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-04-04
javaweb Servlet開(kāi)發(fā)總結(jié)(一)
Servlet是sun公司提供的一門(mén)用于開(kāi)發(fā)動(dòng)態(tài)web資源的技術(shù)。這篇文章主要介紹了javaweb Servlet開(kāi)發(fā)的第一篇,感興趣的小伙伴們可以參考一下2016-05-05

