Springboot?手動分頁查詢分批批量插入數(shù)據(jù)的實現(xiàn)流程

更新時間：2022年07月05日 16:57:02 作者：小目標青年

這篇文章主要介紹了Springboot?手動分頁查詢分批批量插入數(shù)據(jù)的實現(xiàn)流程,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下

前言

業(yè)務場景是什么？

就是數(shù)據(jù)庫的一批數(shù)據(jù)，量不少，需要執(zhí)行同步插入到別的地方。

簡單點肯定是一次性查出來，然后循環(huán)一個個插入，完事。

考慮點：

① 數(shù)據(jù)量大，一次性查出來操作，很爆炸。

② 循環(huán)里面一次一次地去插入，如果非業(yè)務場景必要，基本是不會在循環(huán)里面使用sql操作的。

所以該篇作為拋磚引玉（還有很多需要考慮的點），給出一種解決上面場景的代碼編寫方案，手動分頁，查詢后批量插入。

正文

實現(xiàn)的流程簡圖：

看看最終實現(xiàn)的效果，通過代碼日志記錄了這個實現(xiàn)后的效果 :

開始實戰(zhàn)：

代碼大體就這樣：

代碼：

        //獲取數(shù)據(jù)總計數(shù)
        UserQueryCondition userQueryCondition=new UserQueryCondition();
        Integer totalCount = userService.getAllUserCount(userQueryCondition);
        //每批同步的數(shù)據(jù)條數(shù)
        Integer batchSizeLimit = 500;
        //分批切割處理
        List<PageLimitDTO> pageLimitGroupList = getPageLimitGroupList(totalCount, batchSizeLimit);
        int count=1;
        //物理批次查詢
        for (PageLimitDTO pageBatchLimit:pageLimitGroupList){
            List<User> pageBatchList = userService.getPageList(
                    userQueryCondition, pageBatchLimit.getCurrIndex(), pageBatchLimit.getPageSize()
            );
            if (!CollectionUtils.isEmpty(pageBatchList)){
                //批量插入
                Boolean syncAddResult = userSyncService.batchSyncAdd(pageBatchList);
                //做其余業(yè)務
                if (syncAddResult){
                    log.info("第{}次,user數(shù)據(jù)批量插入成功",count);
                }
            }
            log.info("第{}批次,user數(shù)據(jù)同步批量插入業(yè)務結束執(zhí)行",count);
            count=count+1;
        }

切割函數(shù)getPageLimitGroupList：

    public List<PageLimitDTO> getPageLimitGroupList(Integer totalCount, Integer batchSizeLimit ) {
        log.info("這一次處理的總數(shù)據(jù)條數(shù)為 ={} 條, 每一批次處理條數(shù)為 ={} 條,現(xiàn)在開始做分批切割處理。",totalCount,batchSizeLimit);
        int pageNum = totalCount / batchSizeLimit;
        int surplus = totalCount % batchSizeLimit;
        if (surplus > 0) {
            pageNum = pageNum + 1;
        }
        List<PageLimitDTO> pageLimitGroupList =new LinkedList<>();
        for(int i = 0; i < pageNum; i++){
            Integer currIndex = i * batchSizeLimit;
            PageLimitDTO pageLimitDTO=new PageLimitDTO();
            pageLimitDTO.setPageSize(batchSizeLimit);
            pageLimitDTO.setCurrIndex(currIndex);
            pageLimitDTO.setDealDataCount(currIndex+batchSizeLimit);
            pageLimitGroupList.add(pageLimitDTO);
            log.info("分批切割,第={}次,每次={}條,最終會處理到={}條。",pageLimitGroupList.size(),batchSizeLimit,currIndex+batchSizeLimit);
 
        }
        log.info("這一次處理的總數(shù)據(jù)條數(shù)為 ={} 條, 每一批次處理條數(shù)為 ={} 條,總共切割分成了 ={} 次,一切準備就緒,可以開始批量插入。",totalCount,batchSizeLimit,pageLimitGroupList.size());
        return pageLimitGroupList;
    }

物理分頁查詢的mybatis sql寫法示例（核心手動切割分頁查詢紅色部分）：

代碼：

    <select id="getPageList" resultMap="BaseResultMap">
        SELECT *
        FROM user
        <where>
            <if test="merchantId != null and merchantId != 0">
                and MERCHANT_ID = #{merchantId}
            </if>
            <if test="nameList != null and !nameList.isEmpty()">
                and NAME in
                <foreach collection="nameList" separator="," open="(" close=")" item="name">
                    #{name}
                </foreach>
            </if>
        </where>
        LIMIT #{currIndex} , #{pageSize}
 
    </select>

批量插入示例：

    <!--批量插入信息-->
    <insert id="batchSyncAdd" parameterType="java.util.List">
        insert into user(
        id,
        name,
        age
        )
        values
        <foreach collection="list" item="item" index="index" separator=",">
            (
            #{item.id,jdbcType=BIGINT},
            #{item.name,jdbcType=VARCHAR},
            #{item.age,jdbcType=INTEGER}
            )
        </foreach>
    </insert>

然后就是我們美如畫的，手動批次切割查詢插入：