最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

SpringBoot利用ThreadPoolTaskExecutor批量插入百萬(wàn)級(jí)數(shù)據(jù)的具體實(shí)現(xiàn)

 更新時(shí)間:2024年12月29日 09:27:37   作者:技術(shù)棧人員  
ThreadPoolTaskExecutor是Spring提供的任務(wù)執(zhí)行器實(shí)現(xiàn)之一,允許開發(fā)者配置線程池參數(shù)以適應(yīng)不同的應(yīng)用場(chǎng)景,創(chuàng)建 ThreadPoolTaskExecutor 實(shí)例并設(shè)置核心和最大線程數(shù)等屬性可以優(yōu)化性能,本文介紹了SpringBoot利用ThreadPoolTaskExecutor批量插入百萬(wàn)級(jí)數(shù)據(jù)的具體實(shí)現(xiàn)

前言

開發(fā)目的:

提高百萬(wàn)級(jí)數(shù)據(jù)插入效率。

采取方案:

利用ThreadPoolTaskExecutor多線程批量插入。

采用技術(shù):

  • springboot2.1.1
  • mybatisPlus3.0.6
  • swagger2.5.0
  • Lombok1.18.4
  • postgresql
  • ThreadPoolTaskExecutor

具體實(shí)現(xiàn)細(xì)節(jié)

application-dev.properties添加線程池配置信息

# 異步線程配置
# 配置核心線程數(shù)
async.executor.thread.core_pool_size = 30
# 配置最大線程數(shù)
async.executor.thread.max_pool_size = 30
# 配置隊(duì)列大小
async.executor.thread.queue_capacity = 99988
# 配置線程池中的線程的名稱前綴
async.executor.thread.name.prefix = async-importDB-

spring容器注入線程池bean對(duì)象

@Configuration
@EnableAsync
@Slf4j
public class ExecutorConfig {
    @Value("${async.executor.thread.core_pool_size}")
    private int corePoolSize;
    @Value("${async.executor.thread.max_pool_size}")
    private int maxPoolSize;
    @Value("${async.executor.thread.queue_capacity}")
    private int queueCapacity;
    @Value("${async.executor.thread.name.prefix}")
    private String namePrefix;
 
    @Bean(name = "asyncServiceExecutor")
    public Executor asyncServiceExecutor() {
        log.warn("start asyncServiceExecutor");
        //在這里修改
        ThreadPoolTaskExecutor executor = new VisiableThreadPoolTaskExecutor();
        //配置核心線程數(shù)
        executor.setCorePoolSize(corePoolSize);
        //配置最大線程數(shù)
        executor.setMaxPoolSize(maxPoolSize);
        //配置隊(duì)列大小
        executor.setQueueCapacity(queueCapacity);
        //配置線程池中的線程的名稱前綴
        executor.setThreadNamePrefix(namePrefix);
        // rejection-policy:當(dāng)pool已經(jīng)達(dá)到max size的時(shí)候,如何處理新任務(wù)
        // CALLER_RUNS:不在新線程中執(zhí)行任務(wù),而是有調(diào)用者所在的線程來(lái)執(zhí)行
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        //執(zhí)行初始化
        executor.initialize();
        return executor;
    }
}

創(chuàng)建異步線程 業(yè)務(wù)類

@Service
@Slf4j
public class AsyncServiceImpl implements AsyncService {
@Override
    @Async("asyncServiceExecutor")
    public void executeAsync(List<LogOutputResult> logOutputResults, LogOutputResultMapper logOutputResultMapper, CountDownLatch countDownLatch) {
        try{
            log.warn("start executeAsync");
            //異步線程要做的事情
            logOutputResultMapper.addLogOutputResultBatch(logOutputResults);
            log.warn("end executeAsync");
        }finally {
            countDownLatch.countDown();// 很關(guān)鍵, 無(wú)論上面程序是否異常必須執(zhí)行countDown,否則await無(wú)法釋放
        }
    }
}

創(chuàng)建多線程批量插入具體業(yè)務(wù)方法

@Override
public int testMultiThread() {
    List<LogOutputResult> logOutputResults = getTestData();
    //測(cè)試每100條數(shù)據(jù)插入開一個(gè)線程
    List<List<LogOutputResult>> lists = ConvertHandler.splitList(logOutputResults, 100);
    CountDownLatch countDownLatch = new CountDownLatch(lists.size());
    for (List<LogOutputResult> listSub:lists) {
        asyncService.executeAsync(listSub, logOutputResultMapper,countDownLatch);
    }
    try {
        countDownLatch.await(); //保證之前的所有的線程都執(zhí)行完成,才會(huì)走下面的;
        // 這樣就可以在下面拿到所有線程執(zhí)行完的集合結(jié)果
    } catch (Exception e) {
        log.error("阻塞異常:"+e.getMessage());
    }
    return logOutputResults.size();
}

模擬2000003 條數(shù)據(jù)進(jìn)行測(cè)試

對(duì)了,最近我整理了上百本電子書/軟件/視頻以及面試題,還在持續(xù)更新中,全部免費(fèi),文檔地址:

https://r86oxhhvu2.feishu.cn/wiki/ZMq0wjeFFiRRbvk9NeFcf7uknsJ

多線程 測(cè)試 2000003  耗時(shí)如下:耗時(shí)1.67分鐘

本次開啟30個(gè)線程,截圖如下:

單線程測(cè)試2000003  耗時(shí)如下:耗時(shí)5.75分鐘

檢查多線程入庫(kù)的數(shù)據(jù),檢查是否存在重復(fù)入庫(kù)的問(wèn)題:

根據(jù)id分組,查看是否有id重復(fù)的數(shù)據(jù),通過(guò)sql語(yǔ)句檢查,沒(méi)有發(fā)現(xiàn)重復(fù)入庫(kù)的問(wèn)題

檢查數(shù)據(jù)完整性:

通過(guò)sql語(yǔ)句查詢,多線程錄入數(shù)據(jù)完整

測(cè)試結(jié)果

不同線程數(shù)測(cè)試:

總結(jié)

通過(guò)以上測(cè)試案列,同樣是導(dǎo)入2000003  條數(shù)據(jù),多線程耗時(shí)1.67分鐘,單線程耗時(shí)5.75分鐘。通過(guò)對(duì)不同線程數(shù)的測(cè)試,發(fā)現(xiàn)不是線程數(shù)越多越好,具體多少合適,網(wǎng)上有一個(gè)不成文的算法:

CPU核心數(shù)量*2 +2 個(gè)線程。

以上就是SpringBoot利用ThreadPoolTaskExecutor批量插入百萬(wàn)級(jí)數(shù)據(jù)的具體實(shí)現(xiàn)的詳細(xì)內(nèi)容,更多關(guān)于SpringBoot ThreadPoolTaskExecutor插入數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • IDEA 2023創(chuàng)建JSP項(xiàng)目的完整步驟教程

    IDEA 2023創(chuàng)建JSP項(xiàng)目的完整步驟教程

    這篇文章主要介紹了IDEA 2023創(chuàng)建JSP項(xiàng)目的完整步驟教程,創(chuàng)建項(xiàng)目需要經(jīng)過(guò)新建項(xiàng)目、設(shè)置項(xiàng)目名稱和路徑、選擇JDK版本、添加模塊和工件、配置Tomcat服務(wù)器等步驟,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下
    2024-10-10
  • Spring IOC推導(dǎo)與DI構(gòu)造器注入超詳細(xì)講解

    Spring IOC推導(dǎo)與DI構(gòu)造器注入超詳細(xì)講解

    這篇文章主要介紹了Spring IOC推導(dǎo)與DI構(gòu)造器注入,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧
    2023-02-02
  • jvm垃圾回收GC調(diào)優(yōu)基礎(chǔ)原理分析

    jvm垃圾回收GC調(diào)優(yōu)基礎(chǔ)原理分析

    談到調(diào)優(yōu),這一定是針對(duì)特定場(chǎng)景、特定目的的事情, 對(duì)于 GC 調(diào)優(yōu)來(lái)說(shuō),首先就需要清楚調(diào)優(yōu)的目標(biāo)是什么?從性能的角度看,通常關(guān)注三個(gè)方面,內(nèi)存占用(footprint)、延時(shí)(latency)和吞吐量(throughput)
    2022-01-01
  • Java中List刪除元素的幾種方法總結(jié)推薦

    Java中List刪除元素的幾種方法總結(jié)推薦

    這篇文章主要給大家介紹了關(guān)于Java中List刪除元素的幾種方法總結(jié),相信大家在日常的開發(fā)過(guò)程中,經(jīng)常需要對(duì)List或Map里面的符合某種業(yè)務(wù)的數(shù)據(jù)進(jìn)行刪除,需要的朋友可以參考下
    2023-10-10
  • 基于Spring 6.1 RestClient構(gòu)建高可用聲明式HTTP客戶端方案詳解

    基于Spring 6.1 RestClient構(gòu)建高可用聲明式HTTP客戶端方案詳解

    文章介紹了如何基于Spring 6.1的RestClient構(gòu)建高可靠聲明式HTTP客戶端,解決了傳統(tǒng)RestTemplate的諸多問(wèn)題,包括同步調(diào)用、負(fù)載均衡和安全令牌透?jìng)鞯?通過(guò)一系列代碼示例和解析,感興趣的朋友跟隨小編一起看看吧
    2026-01-01
  • SpringBoot中的Thymeleaf模板

    SpringBoot中的Thymeleaf模板

    Thymeleaf 的出現(xiàn)是為了取代 JSP,雖然 JSP 存在了很長(zhǎng)時(shí)間,并在 Java Web 開發(fā)中無(wú)處不在,但是它也存在一些缺陷。在這篇文中給大家介紹了這些缺陷所存在問(wèn)題,對(duì)spring boot thymeleaf 模板相關(guān)知識(shí)感興趣的朋友跟隨小編一起看看吧
    2018-10-10
  • zookeeper+Springboot實(shí)現(xiàn)服務(wù)器動(dòng)態(tài)上下線監(jiān)聽(tīng)教程詳解

    zookeeper+Springboot實(shí)現(xiàn)服務(wù)器動(dòng)態(tài)上下線監(jiān)聽(tīng)教程詳解

    這篇文章主要介紹了zookeeper+Springboot實(shí)現(xiàn)服務(wù)器動(dòng)態(tài)上下線監(jiān)聽(tīng),主要介紹了什么是服務(wù)器動(dòng)態(tài)上下線監(jiān)聽(tīng)及為什么要實(shí)現(xiàn)對(duì)服務(wù)器上下線的監(jiān)聽(tīng),本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下
    2022-06-06
  • 解決Maven項(xiàng)目加載spring bean的配置xml文件會(huì)提示找不到問(wèn)題

    解決Maven項(xiàng)目加載spring bean的配置xml文件會(huì)提示找不到問(wèn)題

    這篇文章主要介紹了解決Maven項(xiàng)目加載spring bean的配置xml文件會(huì)提示找不到問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-08-08
  • JDBC中Statement和Preparement的使用講解

    JDBC中Statement和Preparement的使用講解

    今天小編就為大家分享一篇關(guān)于JDBC中Statement和Preparement的使用講解,小編覺(jué)得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧
    2019-01-01
  • Java編程實(shí)現(xiàn)數(shù)組轉(zhuǎn)成list及l(fā)ist轉(zhuǎn)數(shù)組的方法

    Java編程實(shí)現(xiàn)數(shù)組轉(zhuǎn)成list及l(fā)ist轉(zhuǎn)數(shù)組的方法

    這篇文章主要介紹了Java編程實(shí)現(xiàn)數(shù)組轉(zhuǎn)成list及l(fā)ist轉(zhuǎn)數(shù)組的方法,結(jié)合實(shí)例形式較為詳細(xì)的總結(jié)分析了java實(shí)現(xiàn)數(shù)組與list之間相互轉(zhuǎn)換的操作技巧,需要的朋友可以參考下
    2017-09-09

最新評(píng)論

石首市| 探索| 贺兰县| 民丰县| 烟台市| 临沧市| 车致| 镶黄旗| 晋江市| 内乡县| 揭西县| 额敏县| 安塞县| 吴旗县| 商河县| 洪泽县| 彩票| 冷水江市| 电白县| 长汀县| 平乡县| 林周县| 荣昌县| 日照市| 南涧| 金堂县| 阿克陶县| 丰原市| 乌海市| 合水县| 福建省| 大化| 牙克石市| 宜兰县| 长治县| 益阳市| 无极县| 石门县| 汝南县| 嘉兴市| 那坡县|