一、背景與意義

在傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)中，執(zhí)行DDL操作時(shí)通常需要鎖定表，以防止數(shù)據(jù)不一致。然而，這種鎖定會(huì)導(dǎo)致表在DDL操作期間不可用，從而影響數(shù)據(jù)庫(kù)的可用性。MySQL原生Online DDL解決了這個(gè)問(wèn)題，它允許DDL操作在表仍然可用時(shí)執(zhí)行，大大提高了數(shù)據(jù)庫(kù)的可用性，特別是對(duì)于需要24/7高可用性的應(yīng)用來(lái)說(shuō)，這是一個(gè)重要的特性。

二、工作機(jī)制

MySQL原生Online DDL的工作機(jī)制涉及多個(gè)步驟和內(nèi)部原理：

1. 準(zhǔn)備階段

• 檢查與評(píng)估：在執(zhí)行DDL操作之前，MySQL會(huì)進(jìn)行一系列的檢查和評(píng)估工作。這包括驗(yàn)證DDL操作的語(yǔ)法正確性、檢查用戶權(quán)限以及評(píng)估所需資源等。
• 選擇執(zhí)行策略：根據(jù)DDL操作的類型和表的結(jié)構(gòu)，MySQL會(huì)選擇一個(gè)合適的執(zhí)行策略。這通常涉及決定是使用COPY算法、INPLACE算法還是INSTANT算法。

2. 執(zhí)行DDL操作

COPY算法：

• 創(chuàng)建臨時(shí)表：首先，MySQL會(huì)創(chuàng)建一個(gè)與原始表結(jié)構(gòu)相似的新臨時(shí)表。
• 數(shù)據(jù)拷貝：接著，原始表中的數(shù)據(jù)會(huì)被逐行拷貝到新的臨時(shí)表中。這個(gè)過(guò)程可能需要一些時(shí)間，具體取決于表的大小和系統(tǒng)的性能。
• 重命名與替換：數(shù)據(jù)拷貝完成后，臨時(shí)表會(huì)被重命名為原始表的名字，從而替換掉原始表。在這個(gè)過(guò)程中，原始表會(huì)被加上寫(xiě)鎖，以阻止對(duì)數(shù)據(jù)進(jìn)行修改，確保數(shù)據(jù)的一致性。

INPLACE算法：

• 直接修改：與COPY算法不同，INPLACE算法直接在原始表上進(jìn)行修改，無(wú)需創(chuàng)建臨時(shí)表和拷貝數(shù)據(jù)。
• 記錄DML操作：在DDL操作執(zhí)行期間，如果有DML操作（如INSERT、UPDATE、DELETE）嘗試修改表，這些操作會(huì)被記錄下來(lái)。
• 應(yīng)用DML更改：DDL操作完成后，之前記錄的DML更改會(huì)被應(yīng)用到表上，確保數(shù)據(jù)的完整性和一致性。

INSTANT算法：

• 元數(shù)據(jù)修改：對(duì)于某些簡(jiǎn)單的DDL操作（如修改表的默認(rèn)字符集），INSTANT算法可以直接修改數(shù)據(jù)字典中的元數(shù)據(jù)，而無(wú)需對(duì)表數(shù)據(jù)進(jìn)行任何更改。
• 無(wú)鎖操作：由于只修改元數(shù)據(jù)，因此這種算法可以在不鎖定表的情況下完成，實(shí)現(xiàn)了真正的“瞬間”完成DDL操作。

3. 完成與清理

• 釋放資源：DDL操作完成后，系統(tǒng)會(huì)釋放所有在操作過(guò)程中分配的資源，如臨時(shí)表、內(nèi)存等。
• 更新統(tǒng)計(jì)信息：MySQL會(huì)更新與表相關(guān)的統(tǒng)計(jì)信息，以便優(yōu)化器能夠更好地制定查詢計(jì)劃。
• 通知與日志記錄：操作完成后，系統(tǒng)會(huì)生成相應(yīng)的日志記錄，以便在必要時(shí)進(jìn)行恢復(fù)或?qū)徲?jì)。同時(shí)，也可能通過(guò)某種機(jī)制（如觸發(fā)器）通知應(yīng)用程序DDL操作的完成。

MySQL原生Online DDL通過(guò)不同的算法和策略來(lái)實(shí)現(xiàn)在線修改數(shù)據(jù)庫(kù)結(jié)構(gòu)的目標(biāo)，從而提高了數(shù)據(jù)庫(kù)的可用性和靈活性。這些工作原理確保了即使在執(zhí)行DDL操作時(shí)，數(shù)據(jù)庫(kù)仍然能夠處理正常的DML操作，減少了停機(jī)時(shí)間和維護(hù)成本。

三、實(shí)現(xiàn)原理與優(yōu)化

在線DDL的核心實(shí)現(xiàn)原理涉及幾個(gè)關(guān)鍵環(huán)節(jié)，同時(shí)也有一些關(guān)鍵的優(yōu)化策略：

• 構(gòu)建臨時(shí)表：為了不影響原表的正常讀寫(xiě)，系統(tǒng)會(huì)創(chuàng)建一個(gè)具備新結(jié)構(gòu)的臨時(shí)表。這一步驟為后續(xù)的DDL操作提供了基礎(chǔ)。
• 數(shù)據(jù)遷移與實(shí)時(shí)同步：舊表中的數(shù)據(jù)會(huì)被高效地遷移到臨時(shí)表中，同時(shí)確保數(shù)據(jù)的實(shí)時(shí)同步。這種遷移策略旨在保障DDL過(guò)程中數(shù)據(jù)的完整性和一致性，避免數(shù)據(jù)丟失或損壞。
• 變更追蹤與重播：利用日志機(jī)制，系統(tǒng)會(huì)追蹤DDL執(zhí)行期間舊表上的數(shù)據(jù)變更，并將這些變更實(shí)時(shí)重播到臨時(shí)表中。這一優(yōu)化確保了數(shù)據(jù)在DDL操作完成后的準(zhǔn)確性。
• 無(wú)縫切換：當(dāng)DDL操作完成且數(shù)據(jù)完全同步后，數(shù)據(jù)庫(kù)引擎會(huì)在合適的時(shí)機(jī)將臨時(shí)表提升為新表，從而實(shí)現(xiàn)無(wú)縫切換。此后，所有的讀寫(xiě)操作都將基于新表進(jìn)行。

四、使用場(chǎng)景與優(yōu)勢(shì)

MySQL原生Online DDL適用于多種場(chǎng)景，如添加或刪除列、修改數(shù)據(jù)類型、添加或刪除索引等。這些操作都可以在不中斷服務(wù)的情況下完成，大大提高了數(shù)據(jù)庫(kù)的靈活性和可用性。此外，由于Online DDL減少了停機(jī)時(shí)間，因此也降低了維護(hù)成本和數(shù)據(jù)丟失的風(fēng)險(xiǎn)。

五、使用約束與注意事項(xiàng)

盡管MySQL 5.7的在線DDL帶來(lái)了諸多便利，但在實(shí)際使用中仍需注意以下幾點(diǎn)：

• 操作支持范圍：并非所有類型的DDL操作都支持在線執(zhí)行。某些特定操作可能仍需要鎖定整張表，因此在執(zhí)行前需確認(rèn)操作類型。
• 資源占用：DDL操作期間可能會(huì)顯著增加系統(tǒng)資源的消耗，特別是在數(shù)據(jù)遷移和同步階段。因此，在高負(fù)載環(huán)境下應(yīng)謹(jǐn)慎規(guī)劃并執(zhí)行此類操作。
• 測(cè)試與驗(yàn)證：為確保數(shù)據(jù)的完整性和業(yè)務(wù)的連續(xù)性，執(zhí)行在線DDL之前應(yīng)進(jìn)行充分的測(cè)試和驗(yàn)證。這包括但不限于數(shù)據(jù)的備份、恢復(fù)以及一致性檢查等步驟。

六、鎖在Online DDL中的作用

在Online DDL過(guò)程中，鎖主要用于確保數(shù)據(jù)的一致性。不同類型的鎖對(duì)表的可訪問(wèn)性有不同的影響：

• 共享鎖（S鎖）：允許多個(gè)事務(wù)讀取同一資源，但不允許寫(xiě)入。在Online DDL中，這可能用于允許讀取操作繼續(xù)進(jìn)行，同時(shí)阻止寫(xiě)入操作。
• 排他鎖（X鎖）：阻止其他事務(wù)讀取或?qū)懭胭Y源。在DDL操作中，如果需要修改表的結(jié)構(gòu)或數(shù)據(jù)，則可能需要使用排他鎖。

ALGORITHM和LOCK選項(xiàng)

• 在MySQL中，你可以通過(guò)ALGORITHM和LOCK關(guān)鍵字來(lái)控制DDL操作的行為。

ALGORITHM選項(xiàng)

• INPLACE：這個(gè)選項(xiàng)指示MySQL直接在原表上進(jìn)行修改，而不是創(chuàng)建一個(gè)新表。這通常可以減少鎖的使用和時(shí)間，從而提高并發(fā)性。但是，并非所有的DDL操作都支持INPLACE算法。
• COPY：這個(gè)選項(xiàng)告訴MySQL創(chuàng)建一個(gè)新表，將原表的數(shù)據(jù)復(fù)制到新表中，然后在新表上執(zhí)行DDL操作。完成后，新表會(huì)替換原表。這個(gè)過(guò)程中，原表通常會(huì)被鎖定，以防止數(shù)據(jù)不一致。COPY算法通常需要更多的時(shí)間和資源。
• DEFAULT：如果不指定ALGORITHM選項(xiàng)，MySQL將選擇默認(rèn)的行為。這通常是嘗試使用INPLACE算法，如果不可能，則回退到COPY算法。 LOCK選項(xiàng)
• NONE：這個(gè)選項(xiàng)指示MySQL在執(zhí)行DDL操作時(shí)不要對(duì)表加鎖（如果可能的話）。但是，如果DDL操作需要保證數(shù)據(jù)的一致性，MySQL可能會(huì)忽略這個(gè)選項(xiàng)并加鎖。
• SHARED：允許讀取操作繼續(xù)進(jìn)行，但阻止寫(xiě)入操作。
• EXCLUSIVE：阻止讀取和寫(xiě)入操作。這是最強(qiáng)的鎖類型，用于確保DDL操作期間數(shù)據(jù)的一致性。

如何使用這些選項(xiàng)

• 當(dāng)你想要執(zhí)行一個(gè)DDL操作時(shí)，你可以通過(guò)添加ALGORITHM和LOCK選項(xiàng)來(lái)控制操作的行為。例如：

ALTER TABLE tbl_name ADD COLUMN col_name col_type, ALGORITHM=INPLACE, LOCK=NONE;

這條命令嘗試在原地（INPLACE）添加一個(gè)新列，并且盡量不使用鎖（LOCK=NONE）。但是，需要注意的是，如果MySQL判斷無(wú)法保證數(shù)據(jù)的一致性而不使用鎖，它可能會(huì)忽略這些選項(xiàng)。

可以通過(guò)如下的SQL語(yǔ)句查看是否有事務(wù)和鎖等信息。

select * from information_schema.innodb_locks;

select * from information_schema.innodb_trx;

select * from information_schema.innodb_lock_waits;

select * from information_schema.processlist;

注意事項(xiàng)

不是所有的DDL操作都支持所有的ALGORITHM和LOCK組合。在執(zhí)行DDL操作之前，最好查閱MySQL的官方文檔以了解具體的支持情況。

即使指定了LOCK=NONE，MySQL也可能在必要時(shí)自動(dòng)加鎖以確保數(shù)據(jù)的一致性。因此，這些選項(xiàng)應(yīng)被視為指導(dǎo)性的，而不是強(qiáng)制性的。

更多online DDL原理,請(qǐng)移步 : Mysql Online DDL的使用詳解

到此這篇關(guān)于MySQL Online DDL原理解讀的文章就介紹到這了,更多相關(guān)MySQL Online DDL原理內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論