MySQL分批插入/更新數(shù)據(jù)方式

更新時間：2025年02月07日 14:19:55 作者：天瑕

文章介紹了如何使用MySQL分批插入/更新數(shù)據(jù),以避免大 SQL 語句導致的更新失敗或拋出異常,通過手寫分批代碼或使用 Guava 庫的 partition 方法,可以簡化批量操作,同時,文章還提到如何使用 partition 方法進行分組查詢

MySQL分批插入/更新數(shù)據(jù)

在我們的日常開發(fā)中，經(jīng)常會使用到批量insert/update的語句來實現(xiàn)相關的業(yè)務功能。而如果數(shù)據(jù)量比較大的話，會導致sql語句更新失敗、拋出異常的情況出現(xiàn)。

這個時候我們可以批量執(zhí)行sql語句，一批一批的執(zhí)行。

比如說現(xiàn)在有一個需要批量修改商品的方法

我們可以這么改造：

public void batchUpdateById(List<Product> productList) {
    if (CollectionUtils.isEmpty(productList)) {
        return;
    }

    if (productList.size() > CommonUtils.BATCH_NUMBER) {
        int sizeNum = productList.size();
        int startNum = 0;
        int endNum = CommonUtils.BATCH_NUMBER - 1;
        while (startNum < endNum) {
            productMapper.batchUpdateById(productList.subList(startNum, endNum));
            startNum += CommonUtils.BATCH_NUMBER - 1;
            endNum += CommonUtils.BATCH_NUMBER - 1;
            if (endNum > sizeNum - 1) {
                endNum = sizeNum;
            }
        }
    } else {
        productMapper.batchUpdateById(productList);
    }
}

上面BATCH_NUMBER的值是50，意味著當修改商品的數(shù)量大于50的時候，會以50個數(shù)據(jù)為一批，分批的執(zhí)行；而如果修改商品的數(shù)量不大于50的時候，就直接一次執(zhí)行就夠了。

上面是我們自己手寫的分批代碼，而如果每個方法都這么寫，也未免太過于繁瑣了。

這個時候我們就可以使用guava庫中關于集合的partition分組方法來進行簡化：

@Override
public void batchUpdateById(List<GoodsSkuBO> list) {
    if (CollectionUtils.isEmpty(list)) {
        return;
    }

    List<MerchantGoodsSkuDO> merchantGoodsSkuDOS = GoodsAnotherSkuConvertor.INSTANCE.goodsSkuBO2MerchantDOList(list);
    List<List<MerchantGoodsSkuDO>> groupMerchantGoodsSkuDOS = Lists.partition(merchantGoodsSkuDOS, CommonUtils.BATCH_NUMBER);
    groupMerchantGoodsSkuDOS.forEach(goodsSkuMasterMapper::batchUpdateById);
}

由上可以看到，代碼簡化了很多

（上面的goodsSkuBO2MerchantDOList方法只是將BO轉成DO，和分組邏輯沒有關系）。

而對于批量查詢的方法，我們也可以使用partition方法進行分組查詢，防止in條件拼接太多的數(shù)據(jù)導致sql報錯的情況出現(xiàn)：

@Override
public List<GoodsSkuBO> listBySpuIdsSimple(List<Long> spuIds) {
    if (CollectionUtils.isEmpty(spuIds)) {
        return Collections.emptyList();
    }

    //去重
    spuIds = spuIds.stream().distinct().collect(Collectors.toList());
    List<List<Long>> groupSpuIds = Lists.partition(spuIds, CommonUtils.BATCH_NUMBER);
    List<MerchantGoodsSkuDO> spuIdList = groupSpuIds.stream().map(goodsSkuMasterMapper::listBySpuIds).flatMap(Collection::stream)
            .collect(Collectors.toList());
    return GoodsAnotherSkuConvertor.INSTANCE.merchantGoodsSkuDO2GoodsSkuBOList(spuIdList);
}