最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

MySQL分庫分表id主鍵處理方式

 更新時間:2025年02月18日 10:13:33   作者:趙廣陸  
文章主要討論了在分庫分表后如何生成全局唯一的ID,包括基于數(shù)據(jù)庫的實現(xiàn)方案、UUID、獲取系統(tǒng)當前時間和Snowflake算法,并對其優(yōu)缺點和適用場景進行了分析

MySQL分庫分表id主鍵處理

1 問題分析

分庫分表之后,id 主鍵如何處理?

其實這是分庫分表之后你必然要面對的一個問題,就是 id 咋生成?因為要是分成多個表之后,每個表都是從 1 開始累加,那肯定不對啊,需要一個全局唯一的 id 來支持。所以這都是你實際生產環(huán)境中必須考慮的問題。

2 面試題回答

2.1 基于數(shù)據(jù)庫的實現(xiàn)方案

數(shù)據(jù)庫自增 id

這個就是說你的系統(tǒng)里每次得到一個 id,都是往一個庫的一個表里插入一條沒什么業(yè)務含義的數(shù)據(jù),然后獲取一個數(shù)據(jù)庫自增的一個 id。拿到這個 id 之后再往對應的分庫分表里去寫入。

這個方案的好處就是方便簡單,誰都會用;缺點就是單庫生成自增 id,要是高并發(fā)的話,就會有瓶頸的;如果你硬是要改進一下,那么就專門開一個服務出來,這個服務每次就拿到當前 id 最大值,然后自己遞增幾個 id,一次性返回一批 id,然后再把當前最大 id 值修改成遞增幾個 id 之后的一個值;但是無論如何都是基于單個數(shù)據(jù)庫。

適合的場景:你分庫分表就倆原因,要不就是單庫并發(fā)太高,要不就是單庫數(shù)據(jù)量太大;除非是你并發(fā)不高,但是數(shù)據(jù)量太大導致的分庫分表擴容,你可以用這個方案,因為可能每秒最高并發(fā)最多就幾百,那么就走單獨的一個庫和表生成自增主鍵即可。

2.2 UUID

好處就是本地生成,不要基于數(shù)據(jù)庫來了;不好之處就是,UUID 太長了、占用空間大,作為主鍵性能太差了;更重要的是,UUID 不具有有序性,會導致 B+ 樹索引在寫的時候有過多的隨機寫操作(連續(xù)的 ID 可以產生部分順序寫),還有,由于在寫的時候不能產生有順序的 append 操作,而需要進行 insert 操作,將會讀取整個 B+ 樹節(jié)點到內存,在插入這條記錄后會將整個節(jié)點寫回磁盤,這種操作在記錄占用空間比較大的情況下,性能下降明顯。

適合的場景:如果你是要隨機生成個什么文件名、編號之類的,你可以用 UUID,但是作為主鍵是不能用 UUID 的。

UUID.randomUUID().toString().replace(“-”, “”) -> sfsdf23423rr234sfdaf

2.3 獲取系統(tǒng)當前時間

這個就是獲取當前時間即可,但是問題是,并發(fā)很高的時候,比如一秒并發(fā)幾千,會有重復的情況,這個是肯定不合適的?;揪筒挥每紤]了。

適合的場景:一般如果用這個方案,是將當前時間跟很多其他的業(yè)務字段拼接起來,作為一個 id,如果業(yè)務上你覺得可以接受,那么也是可以的。你可以將別的業(yè)務字段值跟當前時間拼接起來,組成一個全局唯一的編號。

2.4 snowflake 算法

snowflake 算法是 twitter 開源的分布式 id 生成算法,采用 Scala 語言實現(xiàn),是把一個 64 位的 long 型的 id,1 個 bit 是不用的,用其中的 41 bit 作為毫秒數(shù),用 10 bit 作為工作機器 id,12 bit 作為序列號。

  • 1 bit:不用,為啥呢?因為二進制里第一個 bit 為如果是 1,那么都是負數(shù),但是我們生成的 id 都是正數(shù),所以第一個 bit 統(tǒng)一都是 0。
  • 41 bit:表示的是時間戳,單位是毫秒。41 bit 可以表示的數(shù)字多達 2^41 - 1,也就是可以標識 2^41 - 1 個毫秒值,換算成年就是表示69年的時間。
  • 10 bit:記錄工作機器 id,代表的是這個服務最多可以部署在 2^10臺機器上哪,也就是1024臺機器。但是 10 bit 里 5 個 bit 代表機房 id,5 個 bit 代表機器 id。意思就是最多代表 2^5個機房(32個機房),每個機房里可以代表 2^5 個機器(32臺機器)。
  • 12 bit:這個是用來記錄同一個毫秒內產生的不同 id,12 bit 可以代表的最大正整數(shù)是 2^12 - 1 = 4096,也就是說可以用這個 12 bit 代表的數(shù)字來區(qū)分同一個毫秒內的 4096 個不同的 id。

0 | 0001100 10100010 10111110 10001001 01011100 00 | 10001 | 1 1001 | 0000 00000000

public class IdWorker {

    private long workerId;
    private long datacenterId;
    private long sequence;

    public IdWorker(long workerId, long datacenterId, long sequence) {
        // sanity check for workerId
        // 這兒不就檢查了一下,要求就是你傳遞進來的機房id和機器id不能超過32,不能小于0
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException(
                    String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
        }
        if (datacenterId > maxDatacenterId || datacenterId < 0) {
            throw new IllegalArgumentException(
                    String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
        }
        System.out.printf(
                "worker starting. timestamp left shift %d, datacenter id bits %d, worker id bits %d, sequence bits %d, workerid %d",
                timestampLeftShift, datacenterIdBits, workerIdBits, sequenceBits, workerId);

        this.workerId = workerId;
        this.datacenterId = datacenterId;
        this.sequence = sequence;
    }

    private long twepoch = 1288834974657L;

    private long workerIdBits = 5L;
    private long datacenterIdBits = 5L;

    // 這個是二進制運算,就是 5 bit最多只能有31個數(shù)字,也就是說機器id最多只能是32以內
    private long maxWorkerId = -1L ^ (-1L << workerIdBits);

    // 這個是一個意思,就是 5 bit最多只能有31個數(shù)字,機房id最多只能是32以內
    private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
    private long sequenceBits = 12L;

    private long workerIdShift = sequenceBits;
    private long datacenterIdShift = sequenceBits + workerIdBits;
    private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
    private long sequenceMask = -1L ^ (-1L << sequenceBits);

    private long lastTimestamp = -1L;

    public long getWorkerId() {
        return workerId;
    }

    public long getDatacenterId() {
        return datacenterId;
    }

    public long getTimestamp() {
        return System.currentTimeMillis();
    }

    public synchronized long nextId() {
        // 這兒就是獲取當前時間戳,單位是毫秒
        long timestamp = timeGen();

        if (timestamp < lastTimestamp) {
            System.err.printf("clock is moving backwards.  Rejecting requests until %d.", lastTimestamp);
            throw new RuntimeException(String.format(
                    "Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
        }

        if (lastTimestamp == timestamp) {
            // 這個意思是說一個毫秒內最多只能有4096個數(shù)字
            // 無論你傳遞多少進來,這個位運算保證始終就是在4096這個范圍內,避免你自己傳遞個sequence超過了4096這個范圍
            sequence = (sequence + 1) & sequenceMask;
            if (sequence == 0) {
                timestamp = tilNextMillis(lastTimestamp);
            }
        } else {
            sequence = 0;
        }

        // 這兒記錄一下最近一次生成id的時間戳,單位是毫秒
        lastTimestamp = timestamp;

        // 這兒就是將時間戳左移,放到 41 bit那兒;
        // 將機房 id左移放到 5 bit那兒;
        // 將機器id左移放到5 bit那兒;將序號放最后12 bit;
        // 最后拼接起來成一個 64 bit的二進制數(shù)字,轉換成 10 進制就是個 long 型
        return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift)
                | (workerId << workerIdShift) | sequence;
    }

    private long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }

    private long timeGen() {
        return System.currentTimeMillis();
    }

    // ---------------測試---------------
    public static void main(String[] args) {
        IdWorker worker = new IdWorker(1, 1, 1);
        for (int i = 0; i < 30; i++) {
            System.out.println(worker.nextId());
        }
    }

}

怎么說呢,大概這個意思吧,就是說 41 bit 是當前毫秒單位的一個時間戳,就這意思;然后 5 bit 是你傳遞進來的一個機房 id(但是最大只能是 32 以內),另外 5 bit 是你傳遞進來的機器 id(但是最大只能是 32 以內),剩下的那個 12 bit序列號,就是如果跟你上次生成 id 的時間還在一個毫秒內,那么會把順序給你累加,最多在 4096 個序號以內。

所以你自己利用這個工具類,自己搞一個服務,然后對每個機房的每個機器都初始化這么一個東西,剛開始這個機房的這個機器的序號就是 0。然后每次接收到一個請求,說這個機房的這個機器要生成一個 id,你就找到對應的 Worker 生成。

利用這個 snowflake 算法,你可以開發(fā)自己公司的服務,甚至對于機房 id 和機器 id,反正給你預留了 5 bit + 5 bit,你換成別的有業(yè)務含義的東西也可以的。

這個 snowflake 算法相對來說還是比較靠譜的,所以你要真是搞分布式 id 生成,如果是高并發(fā)啥的,那么用這個應該性能比較好,一般每秒幾萬并發(fā)的場景,也足夠你用了。

總結

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • MySQL忘記root密碼的兩種解決方案

    MySQL忘記root密碼的兩種解決方案

    在使用MySQL數(shù)據(jù)庫管理系統(tǒng)時,有時候會碰到忘記了root用戶的密碼的情況,這時候就需要找到一種解決方案來重置或者恢復root密碼,本文將介紹兩種常用的方法來解決這個問題,需要的朋友可以參考下
    2024-09-09
  • mysql?timestamp字段規(guī)范使用詳情

    mysql?timestamp字段規(guī)范使用詳情

    這篇文章主要介紹了mysql?timestamp字段規(guī)范使用詳情,文章圍繞主題展開詳細的內容介紹,具有一定的參考價值,需要的小伙伴可以參考一下
    2022-09-09
  • MySQL數(shù)據(jù)庫索引以及失效場景詳解

    MySQL數(shù)據(jù)庫索引以及失效場景詳解

    索引是一種數(shù)據(jù)結構,為了應對不同的場景會有多種實現(xiàn),下面這篇文章主要給大家介紹了關于MySQL數(shù)據(jù)庫索引以及失效場景的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-01-01
  • 將MySQL去重操作優(yōu)化到極致的操作方法

    將MySQL去重操作優(yōu)化到極致的操作方法

    這篇文章主要介紹了如何將MySQL去重操作優(yōu)化到極致,本文給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-08-08
  • MySQL 全文索引使用指南

    MySQL 全文索引使用指南

    在 MySQL 中,我們經常使用 WHERE 條件用于進行值的相等比較、范圍過濾。然而,我們也會使用關鍵字進行搜索,這個基于搜索值與其他值的相關性來進行過濾。MySQL全文檢索即用于這種場景。本篇將介紹如何使用全文檢索。
    2021-05-05
  • MySQL 8.0新特性之隱藏字段的深入講解

    MySQL 8.0新特性之隱藏字段的深入講解

    這篇文章主要給大家介紹了關于MySQL 8.0新特性之隱藏字段的相關資料,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2021-02-02
  • 如何優(yōu)雅、安全的關閉MySQL進程

    如何優(yōu)雅、安全的關閉MySQL進程

    這篇文章主要介紹了如何優(yōu)雅、安全的關閉MySQL進程,幫助大家更好的理解和學習MySQL,感興趣的朋友可以了解下
    2020-08-08
  • 安裝配置mysql及Navicat prenium的詳細流程

    安裝配置mysql及Navicat prenium的詳細流程

    這篇文章主要介紹了安裝配置mysql及Navicat Premium的詳細流程,配置方法也真的很簡單,本文給大家詳細介紹mysql Navicat Premium安裝配置相關知識感興趣的朋友,一起學習吧
    2021-06-06
  • 一文總結MySQL中數(shù)學函數(shù)有哪些

    一文總結MySQL中數(shù)學函數(shù)有哪些

    MySQL函數(shù)包括數(shù)學函數(shù)、字符串函數(shù)、日期和時間函數(shù)、條件判斷函數(shù)、系統(tǒng)信息函數(shù)、加密函數(shù)等,下面這篇文章主要給大家介紹了關于MySQL中數(shù)學函數(shù)有哪些的相關資料,需要的朋友可以參考下
    2023-02-02
  • MySQL數(shù)據(jù)庫修改密碼以及設置密碼永過期問題

    MySQL數(shù)據(jù)庫修改密碼以及設置密碼永過期問題

    這篇文章主要介紹了MySQL數(shù)據(jù)庫修改密碼以及設置密碼永過期問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2025-04-04

最新評論

青铜峡市| 正宁县| 平安县| 兰坪| 六盘水市| 昆山市| 肥东县| 即墨市| 江达县| 右玉县| 额敏县| 博客| 兴文县| 孟津县| 明溪县| 茶陵县| 封开县| 斗六市| 买车| 渭南市| 正镶白旗| 株洲市| 平陆县| 阿鲁科尔沁旗| 威宁| 武冈市| 民乐县| 天柱县| 广饶县| 汾阳市| 萍乡市| 土默特右旗| 佛教| 郁南县| 芜湖市| 沅陵县| 太仓市| 周口市| 墨竹工卡县| 嘉禾县| 汉寿县|