最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

MYSQL大表加索引的實(shí)現(xiàn)

 更新時(shí)間:2023年05月29日 10:22:35   作者:千云  
本文主要介紹了MYSQL大表加索引的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

起因是這樣的,有一張表存在慢sql,查詢耗時(shí)最多達(dá)到12s,定位問題后發(fā)現(xiàn)是由于全表掃描導(dǎo)致,需要對(duì)字段增加索引,但是表的數(shù)據(jù)量600多萬有些大,網(wǎng)上很多都說對(duì)大表增加索引可能會(huì)導(dǎo)致鎖表,查閱了一些資料,可以說網(wǎng)上說了很多,但是都很籠統(tǒng),聽別人說不如自己去驗(yàn)證,于是開啟了驗(yàn)證之旅

首先新建一張表test_page1

CREATE TABLE `test_page1`  (
  `id` int(11)  NULL,
  `username` int(252) not  NULL,
  `password` int(252)  NULL,
  `create_time` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci not NULL ,
  `update_time` datetime(0) NULL DEFAULT NULL,
  PRIMARY KEY (`create_time`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1000001 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

第二步,像表中干他個(gè)600w條數(shù)據(jù)這一步網(wǎng)上有很多教程,有通過sql直接在mysql客戶端插入數(shù)據(jù),還有通過代碼插入數(shù)據(jù)的,最初為了方便,我是想再mysql客戶端直接通過存儲(chǔ)過程插入數(shù)據(jù),但是插入速度十分感人

image.png

果斷放棄,畢竟600w條,不想等到猴年馬月,于是就選擇用代碼的方式插入,其實(shí)就是多費(fèi)了一些力氣而已,上代碼,開整

image.png

public class Connect {
    //    導(dǎo)入驅(qū)動(dòng)jar包或添加Maven依賴(這里使用的是Maven,Maven依賴代碼附在文末)
    static {
        try {
            Class.forName("com.mysql.cj.jdbc.Driver");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
    }
    //  獲取數(shù)據(jù)庫連接對(duì)象
    public static Connection getConn() {
        Connection conn = null;
        try {
            //  rewriteBatchedStatements=true,一次插入多條數(shù)據(jù),只插入一次
            conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/xxx?rewriteBatchedStatements=true", "root", "xxx");
        } catch (SQLException throwables) {
            throwables.printStackTrace();
        }
        return conn;
    }
    //  釋放資源
    public static void closeAll(AutoCloseable... autoCloseables) {
        for (AutoCloseable autoCloseable : autoCloseables) {
            if (autoCloseable != null) {
                try {
                    autoCloseable.close();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
    }
}
public class InsertData {
    private static ThreadPoolExecutor getDefaultThreadPool() {
        ThreadPoolExecutor result = new ThreadPoolExecutor(0, 1000, 1, TimeUnit.SECONDS, new SynchronousQueue<>());
        result.setThreadFactory(new ThreadFactory() {
            @Override
            public Thread newThread(Runnable r) {
                return new Thread(r, "deterministic runner thread");
            }
        });
        return result;
    }
    /*  因?yàn)閿?shù)據(jù)庫的處理速度是非常驚人的 單次吞吐量很大 執(zhí)行效率極高
    addBatch()把若干sql語句裝載到一起,然后一次送到數(shù)據(jù)庫執(zhí)行,執(zhí)行需要很短的時(shí)間
    而preparedStatement.executeUpdate() 是一條一條發(fā)往數(shù)據(jù)庫執(zhí)行的 時(shí)間都消耗在數(shù)據(jù)庫連接的傳輸上面*/
    public static void main(String[] args) {
            for (int j = 0; j < 100; j++) {
                long start = System.currentTimeMillis();    //  獲取系統(tǒng)當(dāng)前時(shí)間,方法開始執(zhí)行前記錄
                Connection conn = Connect.getConn();        //  調(diào)用剛剛寫好的用于獲取連接數(shù)據(jù)庫對(duì)象的靜態(tài)工具類
                String sql = "insert into test_page1 values(null,?,?,?,NOW())";  //  要執(zhí)行的sql語句
                PreparedStatement ps = null;
                getDefaultThreadPool().execute(() -> {
                    try {
                    PreparedStatement finalPs = conn.prepareStatement(sql);
                        //  不斷產(chǎn)生sql
                        for (int i = 0; i < 20000; i++) {
                            finalPs.setString(1, Math.ceil(Math.random() * 1000000) + "");
                            finalPs.setString(2, Math.ceil(Math.random() * 1000000) + "");
                            finalPs.setString(3, UUID.randomUUID().toString());  //  UUID該類用于隨機(jī)生成一串不會(huì)重復(fù)的字符串
                            finalPs.addBatch();  //  將一組參數(shù)添加到此 PreparedStatement 對(duì)象的批處理命令中。
                        }
                        int[] ints = new int[0];//   將一批命令提交給數(shù)據(jù)庫來執(zhí)行,如果全部命令執(zhí)行成功,則返回更新計(jì)數(shù)組成的數(shù)組。
                        ints = finalPs.executeBatch();
                        //  如果數(shù)組長(zhǎng)度不為0,則說明sql語句成功執(zhí)行,即數(shù)據(jù)添加成功!
                        if (ints.length > 0) {
                            System.out.println("數(shù)據(jù)添加成功??!");
                        }
                    } catch (SQLException e) {
                        throw new RuntimeException(e);
                    }finally {
                        Connect.closeAll(conn, ps);  //  調(diào)用剛剛寫好的靜態(tài)工具類釋放資源
                    }
                  });
                long end = System.currentTimeMillis();  //  再次獲取系統(tǒng)時(shí)間
                System.out.println("所用時(shí)長(zhǎng):" + (end - start) / 1000 + "秒");  //  兩個(gè)時(shí)間相減即為方法執(zhí)行所用時(shí)長(zhǎng)
            }
    }
}

代碼之所以快,很大的原因是由與代碼開啟了多線程,異步插入,但在實(shí)際執(zhí)行過程中,也會(huì)出現(xiàn)問題,比如把插入的數(shù)據(jù)量搞太大導(dǎo)致了OOM,這個(gè)可以修改本地的JVM,另一種就是同時(shí)插入太多,數(shù)據(jù)庫連接不夠了,導(dǎo)致報(bào)錯(cuò),但這都不是重點(diǎn),因?yàn)槲覀兊闹攸c(diǎn)是大表加索引。代碼執(zhí)行后20分鐘內(nèi),插入了600w條數(shù)據(jù)。

這時(shí)候就開始我們的驗(yàn)證表演了。

首先,說一下網(wǎng)上描述的大表加索引會(huì)出現(xiàn)的問題

  • 如果在執(zhí)行事務(wù)的時(shí)候,如果存在目標(biāo)表的慢sql,這時(shí)對(duì)目標(biāo)表增加索引,會(huì)導(dǎo)致目標(biāo)表被鎖,進(jìn)入Waiting for table metadata lock狀態(tài),進(jìn)入Waiting for table metadata lock狀態(tài)后不能讀也不能寫
  • 加索引屬于DDL操作,DDL操作執(zhí)行的時(shí)候,會(huì)對(duì)表加鎖

然后開始我的嘗試先對(duì)表加個(gè)索引,用時(shí)15.19s

alter table test_page1 add index create_time_index(create_time)

a730d747b961c35d399ef43a953f399.png

然后我們開啟事務(wù),并對(duì)該表執(zhí)行個(gè)慢查詢,并對(duì)表新建一個(gè)索引

BEGIN;
select * from test_page1 where username = 852;
alter table test_page1 add index create_time_index(create_time)

這個(gè)慢查詢有8s,足夠出現(xiàn)問題了,很有信心

image.png

然而,并沒有出現(xiàn)期望的結(jié)果,涼涼,難道網(wǎng)上說的都是假的,本身不存在這種情況,苦思之下,似乎找到問題我是通過dbveaer來執(zhí)行的sql,同事執(zhí)行兩個(gè)sql是在兩個(gè)tab頁上執(zhí)行,會(huì)不會(huì)是雖然在dbveaer的兩個(gè)tab頁同時(shí)執(zhí)行,但是dbveaer還是一個(gè)一個(gè)排隊(duì)執(zhí)行的sql呢?我想大概率是這樣

我又通過dbeaver新建一個(gè)數(shù)據(jù)庫連接,讓開啟事務(wù),并對(duì)該表執(zhí)行個(gè)慢查詢和對(duì)表增加索引在兩個(gè)連接執(zhí)行,這時(shí)執(zhí)行show processlist命令,終于復(fù)現(xiàn)了

c3fcb1a6dec26dd952eac4ed0535e1e.png

加索引命令的進(jìn)程進(jìn)入了Waiting for table metadata lock狀態(tài)網(wǎng)上說Waiting for table metadata lock狀態(tài)后不能讀也不能寫,是不是這樣呢?,來執(zhí)行下查詢,暢通無阻,所以說網(wǎng)上是錯(cuò)誤的,是可以讀的,那能不能寫呢,我們執(zhí)行下sql

insert into test_page1(id,username,password,create_time,update_time) values(null,1,2,'6144423733',NOW());

報(bào)錯(cuò)了,死鎖了Deadlock found when trying to get lock; try restarting transaction,這就驗(yàn)證了無法進(jìn)行寫操作

a6761c4bf76c88d39bf42c240a181b4.png

Waiting for table metadata lock狀態(tài)會(huì)持續(xù)到什么時(shí)候呢,在驗(yàn)證過程中,發(fā)現(xiàn)了兩種方式第一種,事務(wù)提交后,鎖狀態(tài)取消第二種,這種比較神奇,就是剛剛操作過的,對(duì)表進(jìn)行插入操作,這個(gè)時(shí)候會(huì)報(bào)錯(cuò),但是報(bào)錯(cuò)后,mysql會(huì)自動(dòng)殺掉事務(wù)進(jìn)程并解鎖(這真的很神奇),但是事實(shí)就是這樣,很糟心。

還有另外一個(gè)點(diǎn)要驗(yàn)證就是加索引屬于DDL操作,DDL操作執(zhí)行的時(shí)候,會(huì)對(duì)表加鎖,之前我理解錯(cuò)了,以為加鎖是表鎖,會(huì)鎖表的數(shù)據(jù),但是執(zhí)行ddl操作時(shí)是不會(huì)組織數(shù)據(jù)的寫入的,但是另一個(gè)連接去執(zhí)行DDL操作會(huì)進(jìn)入等待狀態(tài),這就是多,DDL操作的確會(huì)加鎖,但是他鎖的不是數(shù)據(jù)而是表結(jié)構(gòu)。

經(jīng)過一番蠻長(zhǎng)的論證,終于驗(yàn)證了什么情況下加索引會(huì)鎖表,為什么有時(shí)候加索引時(shí)間會(huì)很長(zhǎng),加字段時(shí)間會(huì)很長(zhǎng),所以,大家加索引最好選擇選擇在一個(gè)業(yè)務(wù)低峰期加,另外,要注意優(yōu)化系統(tǒng),減少系統(tǒng)中慢sql的出現(xiàn),這樣會(huì)降低鎖表的可能性。

另外如果表被鎖住,處于Waiting for table metadata lock狀態(tài),這時(shí)候我們也可以通過殺掉線程id的方式來解鎖,執(zhí)行show processlist命令,找到線程id,執(zhí)行kill +id,也能完成解鎖。

后記

通過自己實(shí)際驗(yàn)證,發(fā)現(xiàn)網(wǎng)上說的大部分是正確的,但是沒有那么細(xì)致,比如解鎖的條件是什么,怎么解鎖,鎖表是鎖表結(jié)果還是鎖數(shù)據(jù),實(shí)際驗(yàn)證之后得到了很多收獲,所以技術(shù)還是要深挖

到此這篇關(guān)于MYSQL大表加索引的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)MYSQL大表加索引內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • MySQL刪除表的時(shí)候忽略外鍵約束的簡(jiǎn)單實(shí)現(xiàn)

    MySQL刪除表的時(shí)候忽略外鍵約束的簡(jiǎn)單實(shí)現(xiàn)

    下面小編就為大家?guī)硪黄狹ySQL刪除表的時(shí)候忽略外鍵約束的簡(jiǎn)單實(shí)現(xiàn)。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2017-03-03
  • MySQL創(chuàng)建、刪除索引的操作代碼

    MySQL創(chuàng)建、刪除索引的操作代碼

    本文給大家介紹MySQL創(chuàng)建、刪除索引的操作代碼,本文結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì),感興趣的朋友跟隨小編一起看看吧
    2026-03-03
  • 淺談mysql冷熱數(shù)據(jù)原理

    淺談mysql冷熱數(shù)據(jù)原理

    在MySQL中冷熱數(shù)據(jù)是按訪問頻率和業(yè)務(wù)價(jià)值劃分的,MySQL本身沒有原生的冷熱數(shù)據(jù)標(biāo)識(shí),但可以通過存儲(chǔ)引擎特性、分庫分表和數(shù)據(jù)歸檔來實(shí)現(xiàn)分離,下面就來詳細(xì)介紹一下
    2026-02-02
  • Mysql?innoDB修改自增id起始數(shù)的方法步驟

    Mysql?innoDB修改自增id起始數(shù)的方法步驟

    本文主要介紹了Mysql?innoDB修改自增id起始數(shù)的方法步驟,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧<BR>
    2023-03-03
  • MySQL的配置文件詳解及實(shí)例代碼

    MySQL的配置文件詳解及實(shí)例代碼

    MySQL的配置文件是服務(wù)器運(yùn)行的重要組成部分,用于設(shè)置服務(wù)器操作的各種參數(shù),下面這篇文章主要介紹了MySQL配置文件的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2025-08-08
  • MYSQL中REGEXP的實(shí)現(xiàn)示例

    MYSQL中REGEXP的實(shí)現(xiàn)示例

    本文主要介紹了MYSQL中REGEXP的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2025-08-08
  • 詳解MySQL查看執(zhí)行慢的SQL語句(慢查詢)

    詳解MySQL查看執(zhí)行慢的SQL語句(慢查詢)

    查看執(zhí)行慢的SQL語句,需要先開啟慢查詢?nèi)罩?,MySQL的慢查詢?nèi)罩?,記錄在MySQL中響應(yīng)時(shí)間超過閥值的語句(具體指運(yùn)行時(shí)間超過long_query_time值的SQL,本文給大家介紹MySQL查看執(zhí)行慢的SQL語句,感興趣的朋友跟隨小編一起看看吧
    2024-03-03
  • MySQL實(shí)現(xiàn)每天定時(shí)12點(diǎn)彈出黑窗口

    MySQL實(shí)現(xiàn)每天定時(shí)12點(diǎn)彈出黑窗口

    這篇文章主要介紹了MySQL實(shí)現(xiàn)每天定時(shí)12點(diǎn)彈出黑窗口問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-05-05
  • MySql如何查看數(shù)據(jù)庫變量信息常用腳本

    MySql如何查看數(shù)據(jù)庫變量信息常用腳本

    這篇文章主要介紹了MySql如何查看數(shù)據(jù)庫變量信息常用腳本問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-04-04
  • Access數(shù)據(jù)庫的存儲(chǔ)上限

    Access數(shù)據(jù)庫的存儲(chǔ)上限

    Access數(shù)據(jù)庫的存儲(chǔ)上限...
    2006-09-09

最新評(píng)論

文登市| 光山县| 吉木乃县| 阜城县| 宁晋县| 乌鲁木齐县| 通渭县| 宁阳县| 太仆寺旗| 互助| 昌邑市| 景宁| 垫江县| 柳河县| 峡江县| 镇沅| 望江县| 延川县| 柏乡县| 林西县| 闵行区| 浦城县| 鄄城县| 张家界市| 洛扎县| 河西区| 娱乐| 安图县| 抚顺市| 光泽县| 右玉县| 漠河县| 萍乡市| 大庆市| 稻城县| 金昌市| 云阳县| 马鞍山市| 井冈山市| 安吉县| 阜康市|