MyBatis-Plus流式查詢的實現示例
在使用 MyBatis-Plus 進行流式查詢時,通常是為了處理大量數據而避免一次性加載所有數據到內存中,從而減少內存消耗并提高性能。
MyBatis-Plus 從 3.5.4 版本開始支持流式查詢,這是 MyBatis 的原生功能,通過 ResultHandler 接口實現結果集的流式查詢。這種查詢方式適用于數據跑批或處理大數據的業(yè)務場景。
在 BaseMapper 中,新增了多個重載方法,包括 selectList, selectByMap, selectBatchIds, selectMaps, selectObjs,這些方法可以與流式查詢結合使用。
需要注意的是,在低版本的 MyBatis-Plus 中,如果自定義 ResultHandler 結合分頁查詢,可能會出現錯誤。在這種情況下,需要手動關閉 count 查詢。
使用示例
批量數據錄入
剛好順便學習下mybatisplus 批量數據錄入
數據準備 10萬條數據
@Autowired
private MybatisUserService mybatisUserService;
@Test
void contextLoads() {
List<MybatisUser> mybatisUsers = new ArrayList<>();
for (int i = 0; i < 100000; i++) {
MybatisUser mybatisUser = new MybatisUser();
mybatisUser.setId(i);
mybatisUser.setName("A"+i);
mybatisUser.setSex(SexEnum.MAN);
mybatisUsers.add(mybatisUser);
}
mybatisUserService.insertBatch(mybatisUsers);
}MybatisBatch方式
// 記錄開始時間,用于計算執(zhí)行耗時
long startTime = System.nanoTime(); // 使用 nanoTime 獲取更精確的時間
// 創(chuàng)建 MybatisBatch 對象,用于執(zhí)行批量操作
MybatisBatch<MybatisUser> mybatisBatch = new MybatisBatch<>(sqlSessionFactory, mybatisUser);
// 創(chuàng)建 MybatisBatch.Method 對象,指定具體的操作方法
MybatisBatch.Method<MybatisUser> method = new MybatisBatch.Method<>(MybatisUserDao.class);
// 執(zhí)行插入操作
mybatisBatch.execute(method.insert());
// 記錄結束時間,用于計算執(zhí)行耗時
long endTime = System.nanoTime(); // 獲取結束時間
// 計算執(zhí)行時間并打印
long executionTime = endTime - startTime;
System.out.println("Execution time: " + executionTime + " nanoseconds");
SQL values方式
@Insert("<script>" +
"INSERT INTO `mybatis_user`(`id`, `name`, `sex`) " +
"VALUES " +
"<foreach collection= 'list' item= 'item' separator= ','> " +
"(#{item.id},#{item.name},#{item.sex})" +
"</foreach></script>")
int insertBatchSql(@Param("list") List<MybatisUser> list);
雖然插入很快,但是不是特別推薦,當實體數據過多的時候,sql拼接可能會出問題。
推薦的話 還是用多線程來分批插入。
流式查詢
/**
* 選擇并處理數據庫中的所有用戶記錄
* 此方法使用baseMapper從數據庫中選擇所有用戶記錄,并使用ResultHandler進行處理
* 每處理一條記錄,都會在控制臺輸出當前記錄的信息
*/
public void selectAll() {
// 從數據庫獲取表所有記錄,做數據處理
baseMapper.selectList(Wrappers.emptyWrapper(), new ResultHandler<MybatisUser>() {
// 初始化計數器,用于記錄當前處理的記錄數
int count = 0;
/**
* 處理查詢結果
* 此方法在查詢到每條記錄時被調用,用于處理單個查詢結果
* @param resultContext 包含查詢結果的上下文
*/
@Override
public void handleResult(ResultContext<? extends MybatisUser> resultContext) {
// 獲取當前處理的用戶記錄
MybatisUser mybatisUser = resultContext.getResultObject();
// 在控制臺輸出當前處理的記錄信息
System.out.println("當前處理第" + (++count) + "條記錄: " + mybatisUser);
}
});
}
下面是一下常用方法
- getResultObject: 獲取數據庫中的每一條記錄。
- getResultCount: 獲取當前處理的結果集條數,每處理一條記錄,該計數器會加1,計數從1開始。
- stop: 停止繼續(xù)處理結果集,相當于在循環(huán)中使用 break 語句。
比如當我們需要導出大量數據的情況下,使用普通查詢導出是因為一次性把所有數據查詢出來放在集合中,這時候垃圾處理器釋放不了這一部分內存,如果內存不夠就會使程序掛掉。使用mybatis-plus的流式查詢, 一邊查詢一邊導出 ,這樣用過的數據寫入流之后垃圾處理器回收掉內存空間,使內存得到合理應用 。
到此這篇關于MyBatis-Plus流式查詢的實現示例的文章就介紹到這了,更多相關MyBatis-Plus流式查詢內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Java?file.delete刪除文件失敗,Windows磁盤出現無法訪問的文件問題
這篇文章主要介紹了Java?file.delete刪除文件失敗,Windows磁盤出現無法訪問的文件問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06
IDEA自帶Maven插件找不到settings.xml配置文件
IDEA自帶了Maven插件,最近發(fā)現了一個問題,IDEA自帶Maven插件找不到settings.xml配置文件,本文就來詳細的介紹一下解決方法,感興趣的可以了解一下2023-11-11
SpringBoot完整實現滑塊拼圖驗證+軌跡驗證+Redis分布式方案
滑塊拼圖驗證是一種行為驗證技術,通過要求用戶將拼圖塊拖動到正確位置來區(qū)分人類用戶和自動化程序,本文介紹SpringBoot完整實現滑塊拼圖驗證+軌跡驗證+Redis分布式方案,感興趣的朋友跟隨小編一起看看吧2026-03-03

