我們知道可以將一個(gè)海量記錄的 MySQL 大表根據(jù)主鍵、時(shí)間字段，條件字段等分成若干個(gè)表甚至保存在若干服務(wù)器中。
唯一的問題就是跨服務(wù)器批量查詢麻煩，只能通過應(yīng)用程序來解決。談?wù)勗贘ava中的解決思路。其他語(yǔ)言原理類似。
這里說的分表不是 MySQL 5.1 的 partition，而是人為把一個(gè)表分開存在若干表或不同的服務(wù)器。
1. 應(yīng)用程序級(jí)別實(shí)現(xiàn)
見示意圖

electThreadManager 分表數(shù)據(jù)查詢管理器
它為分表的每個(gè)database or server 建立一個(gè) thread pool
addTask() - 添加任務(wù)
stopTask() - 停止任務(wù)
getResult() - 獲取執(zhí)行結(jié)果
最快的執(zhí)行時(shí)間 = 最慢的 MySQL 節(jié)點(diǎn)查詢消耗時(shí)間
最慢的執(zhí)行時(shí)間 = 超時(shí)時(shí)間
某個(gè) ThreadPool 忙時(shí)候處理流程
1. 假如 ThreadPoolN 非常忙，(也意味 DB N 非常忙)；
2. 新的查詢?nèi)蝿?wù)到來，addTask(), 新的任務(wù)的一個(gè)thread加到ThreadPoolN任務(wù)排隊(duì)中
3. 外層應(yīng)用已經(jīng)獲得其他 thread 返回結(jié)果，繼續(xù)等待
4. 外層應(yīng)用等待超時(shí)的時(shí)間到，調(diào)用 stopTask() 設(shè)置該任務(wù)全部 thread 中的停止標(biāo)志, 外層應(yīng)用返回。
5. 若干時(shí)間后，ThreadPoolN取到該排隊(duì) Thread, 因?yàn)樵O(shè)置了停止位，線程直接運(yùn)行完成。
2. JDBC 層實(shí)現(xiàn)
做一個(gè) JDBC Driver 的包裝，攔截 PreparedStatement, Statement 的 executeQuery()
然后調(diào)用 SelectThreadManager 完成
3. MySQL partition
MySQL 5.1 的 partition 功能由于單張表的數(shù)據(jù)跨文件，批量查詢時(shí)候同樣存在上述問題，不過它是在 MySQL 內(nèi)部實(shí)現(xiàn)的，不需要外部調(diào)用者關(guān)心。其查詢實(shí)現(xiàn)的原理應(yīng)該大致類似。
但 partition 只解決了 IO 的瓶頸，并不能解決 CPU 計(jì)算的瓶頸，因此無(wú)法代替?zhèn)鹘y(tǒng)的手工分表方式。

最新評(píng)論