springboot 按月分表的實現(xiàn)方式
更新時間：2023年04月16日 11:18:24 作者：終成一個大象
本文主要介紹了springboot 按月分表的實現(xiàn)方式，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
一、項目背景
在實際工作中，會遇到業(yè)務比較集中的情況，隨著時間推延，這部分業(yè)務關(guān)聯(lián)的mysql表就會越來越大，十分臃腫。盡管在項目架構(gòu)上做了讀寫分離，也會導致查詢的時候出現(xiàn)比較慢的情況，導致線上慢查詢的出現(xiàn)。
這種情況下導致的慢查詢，單純從sql優(yōu)化的角度是無法解決的，此時我們就會用到分庫分表。由于我們目前的問題是部分mysql表比較大，采用分表的方式即可解決，本文主要討論分表的情況。
1、分表的方式
- 垂直分表
簡單理解：把同一個表中的數(shù)據(jù)按列拆分到不同的表中。
所謂的垂直分表指的是將表結(jié)構(gòu)按照功能模塊、關(guān)系密切程度劃分出來，部署到不同的庫或者不同的表中。
- 水平分表
簡單理解：把同一個表中的數(shù)據(jù)按行拆分到不同的表中。
所謂的水平分表，即將數(shù)據(jù)按照某種規(guī)則存儲到不同的表中。例如日志表，可以使用按月或者按天分表，即每個月的日志數(shù)據(jù)單獨存儲在一張表中。這些表同時屬于一張主表，擁有相同的表結(jié)構(gòu)，但查詢時可以大大減輕主表查詢的負擔。
二、代碼實現(xiàn)
主要使用mybatis-plus提供的功能來實現(xiàn)功能。
1、pom文件依賴
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.1.1</version>
</dependency>
2、配置文件
# mybatis-plus 配置 mybatis-plus.configuration.call-setters-on-nulls=true # xml 文件路徑 mybatis-plus.mapper-locations=classpath*:mapping/*.xml # entity 文件路徑 mybatis-plus.type-aliases-package=com.geniuworks.bot.entity # 打印sql語句執(zhí)行日志 mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl # 需要按月分表的表名 mp.tableNames=message
3、MybatisPlusConfig實現(xiàn)
MybatisPlusConfig配置類實現(xiàn)：
package com.geniuworks.bot.config;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.baomidou.mybatisplus.extension.parsers.DynamicTableNameParser;
import com.baomidou.mybatisplus.extension.parsers.ITableNameHandler;
import com.baomidou.mybatisplus.extension.plugins.PaginationInterceptor;
import com.geniuworks.bot.entity.Tables;
import lombok.extern.slf4j.Slf4j;
import org.apache.ibatis.reflection.MetaObject;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.text.SimpleDateFormat;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
/**
* @Author dingws
* @PackageName
* @Package
* @Date 2022/1/5 1:53 下午
* @Version 1.0
*/
@Configuration
@Slf4j
public class MybatisPlusConfig {
@Autowired
private Tables tableNames;
/**
*
* @return
*/
@Bean
public PaginationInterceptor paginationInterceptor(){
PaginationInterceptor paginationInterceptor = new PaginationInterceptor();
DynamicTableNameParser dynamicTableNameParser = new DynamicTableNameParser();
dynamicTableNameParser.setTableNameHandlerMap(new HashMap<String, ITableNameHandler>(2){{
//涉及表集合
List<String> tables = tableNames.getTableNames();
//動態(tài)表規(guī)則 初始表名+_+code
tables.forEach(tableTitle -> put(tableTitle,(metaObject, sql, tableName) -> tableName + String.valueOf(getParamValue("month",metaObject))));
}});
paginationInterceptor.setSqlParserList(Collections.singletonList(dynamicTableNameParser));
return paginationInterceptor;
}
/**
*
* @param title
* @param metaObject
* @return
*/
private Object getParamValue(String title, MetaObject metaObject){
//獲取參數(shù)
Object originalObject = metaObject.getOriginalObject();
JSONObject originalObjectJSON = JSON.parseObject(JSON.toJSONString(originalObject));
JSONObject boundSql = originalObjectJSON.getJSONObject("boundSql");
JSONObject parameterObject = boundSql.getJSONObject("parameterObject");
SimpleDateFormat formatter = new SimpleDateFormat("yyyy_MM");
if(parameterObject.get(title) == null){
return "";
}
Date date = parameterObject.getObject(title, Date.class);
log.info("param value = " + formatter.format(date));
return "_" + formatter.format(date);
}
}
Tables類實現(xiàn)：
package com.geniuworks.bot.entity;
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;
import java.util.List;
/**
* @Author dingws
* @PackageName
* @Package
* @Date 2022/1/5 2:18 下午
* @Version 1.0
*/
@Configuration
@ConfigurationProperties("mp")
@Data
public class Tables {
private List<String> tableNames;
}
4、優(yōu)雅的使用
在使用的時候，只需要在mysql表對應的entity里添加一個字段month即可。
如果month不為空就會按照month的日期所在的月份對數(shù)據(jù)庫表明進行動態(tài)拼接。如果month為空則不進行拼接，直接訪問總表。
entity類實現(xiàn)：
package com.geniuworks.bot.entity;
import java.util.Date;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Message {
private String id;
private String sessionId;
private Date createdTime;
private String content;
// 根據(jù)該字段所在的月分，區(qū)分訪問的表名
private Date month;
}
mapper類實現(xiàn)：
package com.geniuworks.bot.mapper;
import com.geniuworks.bot.entity.Message;
import com.geniuworks.bot.vo.MessageVo;
import com.geniuworks.bot.vo.StatisticsVo;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;
import org.apache.ibatis.annotations.Select;
import java.util.Date;
import java.util.List;
import java.util.Map;
@Mapper
public interface MessageMapper {
/**
* insert record to table
* @param record the record
* @return insert count
*/
int insert(Message record);
/**
* insert record to table selective
* @param record the record
* @return insert count
*/
int insertSelective(Message record);
/**
* update record selective
* @param record the updated record
* @return update count
*/
int updateByPrimaryKeySelective(Message record);
/**
* update record
* @param record the updated record
* @return update count
*/
int updateByPrimaryKey(Message record);
5、mysql表名拆分
需要手動把當年需要的數(shù)據(jù)庫手動創(chuàng)建出來，命名規(guī)則對應MybatisPlusConfig類中的拼接規(guī)則。
三、遇到的問題
由于我一直用的是mybatis組件，需要升級為mybatis-plus，在升級的過程中出現(xiàn)如下的問題。
1、Invalid bound statement (not found)
問題原因： pom文件依賴的是mybatis-plus，配置文件中使用的是mybatis的配置，導致mybatis加載失敗。
解決方法：把配置文件的mybatis配置改為mybatis-plus配置
2、resultType=“java.util.Map”，返回字段名被包裝
問題原因： 在未升級成mybatis-plus之前，可以直接放回數(shù)據(jù)庫中的字段命名。 升級之后，mybatis-plus將放回字段自動映射為entity中的字段命名。
解決方案： 梳理受到影響的代碼邏輯，更新使用的字段命名。
到此這篇關(guān)于springboot 按月分表的實現(xiàn)方式的文章就介紹到這了,更多相關(guān)springboot 按月分表內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
- springboot+mybatis攔截器方法實現(xiàn)水平分表操作
- SpringBoot+MybatisPlus+Mysql+Sharding-JDBC分庫分表
- SpringBoot實現(xiàn)分庫分表
- springboot+mybatis-plus基于攔截器實現(xiàn)分表的示例代碼
- SpringBoot整合sharding-jdbc實現(xiàn)自定義分庫分表的實踐
- SpringBoot整合sharding-jdbc實現(xiàn)分庫分表與讀寫分離的示例
- springboot整合shardingjdbc實現(xiàn)分庫分表最簡單demo
- springboot jpa分庫分表項目實現(xiàn)過程詳解
相關(guān)文章
這篇文章主要介紹了Java中的事件處理機制詳細解讀,ava事件處理是采取"委派事件模型",當事件發(fā)生時,產(chǎn)生事件的對象會把此"信息"傳遞給"事件的監(jiān)聽者"處理,需要的朋友可以參考下2024-01-01
JAVA如何判斷上傳文件后綴名是否符合規(guī)范MultipartFile
這篇文章主要介紹了JAVA判斷上傳文件后綴名是否符合規(guī)范MultipartFile,文中通過實例代碼介紹了java實現(xiàn)對上傳文件做安全性檢查,需要的朋友可以參考下2023-11-11
SpringBoot整合MyBatis Plus實現(xiàn)基本CRUD與高級功能
Spring Boot是一款用于快速構(gòu)建Spring應用程序的框架,而MyBatis Plus是MyBatis的增強工具,本文將詳細介紹如何在Spring Boot項目中整合MyBatis Plus,并展示其基本CRUD功能以及高級功能的實現(xiàn)方式,需要的朋友可以參考下2024-02-02
這篇文章主要介紹了Java Web三層架構(gòu)的配置方法,需要的朋友可以參考下2014-10-10
動態(tài)?SQL?是?MyBatis?的強大特性之一。如果你使用過?JDBC?或其它類似的框架，你應該能理解根據(jù)不同條件拼接?SQL?語句有多痛苦，例如拼接時要確保不能忘記添加必要的空格，還要注意去掉列表最后一個列名的逗號。利用動態(tài)?SQL，可以徹底擺脫這種痛苦2022-04-04
springboot整合mybatis-plus實現(xiàn)多表分頁查詢的示例代碼
這篇文章主要介紹了springboot整合mybatis-plus實現(xiàn)多表分頁查詢的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
這篇文章主要介紹了使用okhttp替換Feign默認Client的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-02-02
SpringBoot3實戰(zhàn)教程之實現(xiàn)接口簽名驗證功能
接口簽名是一種重要的安全機制,用于確保 API 請求的真實性、數(shù)據(jù)的完整性以及防止重放攻擊,這篇文章主要介紹了SpringBoot3實戰(zhàn)教程之實現(xiàn)接口簽名驗證功能,需要的朋友可以參考下2025-04-04
關(guān)于thymeleaf判斷對象是否為空的相關(guān)邏輯處理
這篇文章主要介紹了關(guān)于thymeleaf判斷對象是否為空的相關(guān)邏輯處理，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-10-10
這篇文章給大家介紹HttpClient使用，httpClient是一個客戶端的http通信實現(xiàn)庫，HttpClient的目標是發(fā)送和接收HTTP報文。本文講解的非常詳細，對HttpClient使用感興趣的朋友可以參考下2015-10-10