MySQL分庫分表動態(tài)擴容縮容

1.問題分析

如何設(shè)計可以動態(tài)擴容縮容的分庫分表方案？

對于分庫分表來說，主要是面對以下問題：

• 選擇一個數(shù)據(jù)庫中間件，調(diào)研、學(xué)習(xí)、測試；
• 設(shè)計你的分庫分表的一個方案，你要分成多少個庫，每個庫分成多少個表，比如 3 個庫，每個庫 4 個表；
• 基于選擇好的數(shù)據(jù)庫中間件，以及在測試環(huán)境建立好的分庫分表的環(huán)境，然后測試一下能否正常進行分庫分表的讀寫；
• 完成單庫單表到分庫分表的遷移，雙寫方案；
• 線上系統(tǒng)開始基于分庫分表對外提供服務(wù)；
• 擴容了，擴容成 6 個庫，每個庫需要 12 個表，你怎么來增加更多庫和表呢？

這個是你必須面對的一個事兒，就是你已經(jīng)弄好分庫分表方案了，然后一堆庫和表都建好了，基于分庫分表中間件的代碼開發(fā)啥的都好了，測試都 ok 了，數(shù)據(jù)能均勻分布到各個庫和各個表里去，而且接著你還通過雙寫的方案咔嚓一下上了系統(tǒng)，已經(jīng)直接基于分庫分表方案在搞了。

那么現(xiàn)在問題來了，你現(xiàn)在這些庫和表又支撐不住了，要繼續(xù)擴容咋辦？這個可能就是說你的每個庫的容量又快滿了，或者是你的表數(shù)據(jù)量又太大了，也可能是你每個庫的寫并發(fā)太高了，你得繼續(xù)擴容。

這都是玩兒分庫分表線上必須經(jīng)歷的事兒。

2.面試題回答

停機擴容（不推薦）

這個方案就跟停機遷移一樣，步驟幾乎一致，唯一的一點就是那個導(dǎo)數(shù)的工具，是把現(xiàn)有庫表的數(shù)據(jù)抽出來慢慢倒入到新的庫和表里去。但是最好別這么玩兒，有點不太靠譜，因為既然分庫分表就說明數(shù)據(jù)量實在是太大了，可能多達幾億條，甚至幾十億，你這么玩兒，可能會出問題。

從單庫單表遷移到分庫分表的時候，數(shù)據(jù)量并不是很大，單表最大也就兩三千萬。那么你寫個工具，多弄幾臺機器并行跑，1小時數(shù)據(jù)就導(dǎo)完了。這沒有問題。

如果 3 個庫 + 12 個表，跑了一段時間了，數(shù)據(jù)量都 1~2 億了。光是導(dǎo) 2 億數(shù)據(jù)，都要導(dǎo)個幾個小時，6 點，剛剛導(dǎo)完數(shù)據(jù)，還要搞后續(xù)的修改配置，重啟系統(tǒng)，測試驗證，10 點才可以搞完。所以不能這么搞。

優(yōu)化后的方案

一開始上來就是 32 個庫，每個庫 32 個表，那么總共是 1024 張表。

我可以告訴各位同學(xué)，這個分法，第一，基本上國內(nèi)的互聯(lián)網(wǎng)肯定都是夠用了，第二，無論是并發(fā)支撐還是數(shù)據(jù)量支撐都沒問題。

每個庫正常承載的寫入并發(fā)量是 1000，那么 32 個庫就可以承載 32 * 1000 = 32000 的寫并發(fā)，如果每個庫承載 1500 的寫并發(fā)，32 * 1500 = 48000 的寫并發(fā)，接近 5 萬每秒的寫入并發(fā)，前面再加一個MQ，削峰，每秒寫入 MQ 8 萬條數(shù)據(jù)，每秒消費 5 萬條數(shù)據(jù)。

有些除非是國內(nèi)排名非常靠前的這些公司，他們的最核心的系統(tǒng)的數(shù)據(jù)庫，可能會出現(xiàn)幾百臺數(shù)據(jù)庫的這么一個規(guī)模，128 個庫，256 個庫，512 個庫。

1024 張表，假設(shè)每個表放 500 萬數(shù)據(jù)，在 MySQL 里可以放 50 億條數(shù)據(jù)。

每秒 5 萬的寫并發(fā)，總共 50 億條數(shù)據(jù)，對于國內(nèi)大部分的互聯(lián)網(wǎng)公司來說，其實一般來說都夠了。

談分庫分表的擴容，第一次分庫分表，就一次性給他分個夠，32 個庫，1024 張表，可能對大部分的中小型互聯(lián)網(wǎng)公司來說，已經(jīng)可以支撐好幾年了。

一個實踐是利用 32 * 32 來分庫分表，即分為 32 個庫，每個庫里一個表分為 32 張表。一共就是 1024 張表。根據(jù)某個 id 先根據(jù) 32 取模路由到庫，再根據(jù) 32 取模路由到庫里的表。

剛開始的時候，這個庫可能就是邏輯庫，建在一個數(shù)據(jù)庫上的，就是一個 mysql 服務(wù)器可能建了 n 個庫，比如 32 個庫。后面如果要拆分，就是不斷在庫和 mysql 服務(wù)器之間做遷移就可以了。然后系統(tǒng)配合改一下配置即可。

比如說最多可以擴展到 32 個數(shù)據(jù)庫服務(wù)器，每個數(shù)據(jù)庫服務(wù)器是一個庫。如果還是不夠？最多可以擴展到 1024 個數(shù)據(jù)庫服務(wù)器，每個數(shù)據(jù)庫服務(wù)器上面一個庫一個表。因為最多是 1024 個表。

這么搞，是不用自己寫代碼做數(shù)據(jù)遷移的，都交給 dba 來搞好了，但是 dba 確實是需要做一些庫表遷移的工作，但是總比你自己寫代碼，然后抽數(shù)據(jù)導(dǎo)數(shù)據(jù)來的效率高得多吧。

哪怕是要減少庫的數(shù)量，也很簡單，其實說白了就是按倍數(shù)縮容就可以了，然后修改一下路由規(guī)則。

這里對步驟做一個總結(jié)

1. 設(shè)定好幾臺數(shù)據(jù)庫服務(wù)器，每臺服務(wù)器上幾個庫，每個庫多少個表，推薦是 32 庫 * 32 表，對于大部分公司來說，可能幾年都夠了。
2. 路由的規(guī)則，orderId 模 32 = 庫，orderId / 32 模 32 = 表
3. 擴容的時候，申請增加更多的數(shù)據(jù)庫服務(wù)器，裝好 mysql，呈倍數(shù)擴容，4 臺服務(wù)器，擴到 8 臺服務(wù)器，再到 16 臺服務(wù)器。
4. 由 dba 負責(zé)將原先數(shù)據(jù)庫服務(wù)器的庫，遷移到新的數(shù)據(jù)庫服務(wù)器上去，庫遷移是有一些便捷的工具的。
5. 我們這邊就是修改一下配置，調(diào)整遷移的庫所在數(shù)據(jù)庫服務(wù)器的地址。
6. 重新發(fā)布系統(tǒng)，上線，原先的路由規(guī)則變都不用變，直接可以基于 n 倍的數(shù)據(jù)庫服務(wù)器的資源，繼續(xù)進行線上系統(tǒng)的提供服務(wù)。

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論