MySQL性能調優(yōu)

MySQL 性能調優(yōu)是一個復雜且多維度的過程，下面從數據庫設計、查詢優(yōu)化、配置參數調整、硬件優(yōu)化幾個方面為你介紹相關的調優(yōu)方法。

數據庫設計優(yōu)化

• 合理設計表結構：確保表結構遵循數據庫設計范式，減少數據冗余，同時要根據實際業(yè)務需求靈活調整，避免過度范式化導致的查詢復雜度過高。
• 選擇合適的數據類型：使用合適的數據類型可以減少存儲空間，提高查詢性能。例如，對于固定長度的字符串使用CHAR，對于可變長度的字符串使用VARCHAR；對于整數類型，根據取值范圍選擇合適的類型，如TINYINT、SMALLINT等。
• 建立適當的索引：索引可以加快數據的查找速度，但過多的索引會增加寫操作的開銷，因此需要根據查詢需求建立適當的索引。例如，對于經常用于WHERE子句、JOIN條件和ORDER BY子句的列，可以考慮創(chuàng)建索引。

查詢優(yōu)化

• 避免全表掃描：盡量使用索引來避免全表掃描，例如在WHERE子句中使用索引列進行過濾。
• 優(yōu)化子查詢：子查詢可能會導致性能問題，可以考慮使用JOIN來替代子查詢。
• 減少不必要的列：在查詢時只選擇需要的列，避免使用SELECT *。

配置參數調整

• 調整內存分配：根據服務器的硬件資源和業(yè)務需求，調整innodb_buffer_pool_size、key_buffer_size等參數，以提高緩存命中率。
• 調整日志參數：根據業(yè)務需求調整log_bin、innodb_log_file_size等參數，以平衡數據安全性和性能。

硬件優(yōu)化

• 使用高速存儲設備：如 SSD 可以顯著提高磁盤 I/O 性能。
• 增加內存：足夠的內存可以減少磁盤 I/O，提高查詢性能。

MySQL的執(zhí)行原理

1.2.MySQL的查詢重寫規(guī)則

對于一些執(zhí)行起來十分耗費性能的語句，MySQL還是依據一些規(guī)則，竭盡全力的把這個很糟糕的語句轉換成某種可以比較高效執(zhí)行的形式，這個過程也可以被稱作查詢重寫。

1.2.1.條件化簡

我們編寫的查詢語句的搜索條件本質上是一個表達式，這些表達式可能比較繁雜，或者不能高效的執(zhí)行，MySQL的查詢優(yōu)化器會為我們簡化這些表達式。

1.2.1.1.移除不必要的括號

有時候表達式里有許多無用的括號，比如這樣：

((a = 5 AND b =c) OR ((a > c) AND (c < 5)))

看著就很煩，優(yōu)化器會把那些用不到的括號給干掉，就是這樣：

(a = 5 and b =c) OR (a > c AND c < 5)

1.2.1.2.常量傳遞（constant_propagation）

有時候某個表達式是某個列和某個常量做等值匹配，比如這樣：

a = 5

當這個表達式和其他涉及列a的表達式使用AND連接起來時，可以將其他表達式中的a的值替換為5，比如這樣：

a = 5 AND b >a

就可以被轉換為：

a = 5 AND b >5

等值傳遞（equality_propagation）

有時候多個列之間存在等值匹配的關系，比如這樣：

a = b and b = c and c = 5

這個表達式可以被簡化為：

a = 5 and b = 5 and c = 5

1.2.1.3.移除沒用的條件（trivial_condition_removal）

對于一些明顯永遠為TRUE或者FALSE的表達式，優(yōu)化器會移除掉它們，比如這個表達式：

(a < 1 and b= b) OR (a = 6 OR 5 != 5)

很明顯，b = b這個表達式永遠為TRUE，5 != 5這個表達式永遠為FALSE，所以簡化后的表達式就是這樣的：

(a < 1 and TRUE) OR (a = 6 OR FALSE)

可以繼續(xù)被簡化為

a < 1 OR a =6

1.2.1.4.表達式計算

在查詢開始執(zhí)行之前，如果表達式中只包含常量的話，它的值會被先計算出來，比如這個：

a = 5 + 1

因為5 + 1這個表達式只包含常量，所以就會被化簡成：

a = 6

但是這里需要注意的是，如果某個列并不是以單獨的形式作為表達式的操作數時，比如出現在函數中，出現在某個更復雜表達式中，就像這樣：

ABS(a) > 5

或者：

-a < -8

優(yōu)化器是不會嘗試對這些表達式進行化簡的。我們前邊說過只有搜索條件中索引列和常數使用某些運算符連接起來才可能使用到索引，所以如果可以的話，最好讓索引列以單獨的形式出現在表達式中。

1.2.1.5.常量表檢測

MySQL覺得下邊這種查詢運行的特別快：

使用主鍵等值匹配或者唯一二級索引列等值匹配作為搜索條件來查詢某個表。

MySQL覺得這兩種查詢花費的時間特別少，少到可以忽略，所以也把通過這兩種方式查詢的表稱之為常量表（英文名：constant tables）。優(yōu)化器在分析一個查詢語句時，先首先執(zhí)行常量表查詢，然后把查詢中涉及到該表的條件全部替換成常數，最后再分析其余表的查詢成本，比方說這個查詢語句：

SELECT
	*
FROM
	table1
INNER JOIN table2 ON table1.column1 = table2.column2
WHERE
	table1.primary_key = 1;

很明顯，這個查詢可以使用主鍵和常量值的等值匹配來查詢table1表，也就是在這個查詢中table1表相當于常量表，在分析對table2表的查詢成本之前，就會執(zhí)行對table1表的查詢，并把查詢中涉及table1表的條件都替換掉，也就是上邊的語句會被轉換成這樣：

SELECT
	table1表記錄的各個字段的常量值,
	table2.*
FROM
	table1
INNER JOIN table2 ON table1表column1列的常量值 = table2.column2;

1.2.2.外連接消除

我們前邊說過，內連接的驅動表和被驅動表的位置可以相互轉換，而左（外）連接和右（外）連接的驅動表和被驅動表是固定的。這就導致內連接可能通過優(yōu)化表的連接順序來降低整體的查詢成本，而外連接卻無法優(yōu)化表的連接順序。

我們之前說過，外連接和內連接的本質區(qū)別就是：對于外連接的驅動表的記錄來說，如果無法在被驅動表中找到匹配ON子句中的過濾條件的記錄，那么該記錄仍然會被加入到結果集中，對應的被驅動表記錄的各個字段使用NULL值填充；而內連接的驅動表的記錄如果無法在被驅動表中找到匹配ON子句中的過濾條件的記錄，那么該記錄會被舍棄。查詢效果就是這樣：

SELECT * FROM e1 INNER JOIN e2 ON e1.m1 = e2.m2;

SELECT * FROM e1 LEFT JOIN e2 ON e1.m1 = e2.m2;

對于上邊例子中的（左）外連接來說，由于驅動表e1中m1=1, n1='a’的記錄無法在被驅動表e2中找到符合ON子句條件e1.m1 = e2.m2的記錄，所以就直接把這條記錄加入到結果集，對應的e2表的m2和n2列的值都設置為NULL。

因為凡是不符合WHERE子句中條件的記錄都不會參與連接。只要我們在搜索條件中指定關于被驅動表相關列的值不為NULL，那么外連接中在被驅動表中找不到符合ON子句條件的驅動表記錄也就被排除出最后的結果集了，也就是說：在這種情況下：外連接和內連接也就沒有什么區(qū)別了！

另外再說下這個查詢：

SELECT* FROM e1 LEFT JOIN e2 ON e1.m1 = e2.m2 WHERE e2.n2 IS NOT NULL

由于指定了被驅動表e2的n2列不允許為NULL，所以上邊的e1和e2表的左（外）連接查詢和內連接查詢是一樣的。當然，我們也可以不用顯式的指定被驅動表的某個列IS NOT NULL，只要隱含的有這個意思就行了，比方說這樣：

SELECT * FROM e1 LEFT JOIN e2 ON e1.m1 = e2.m2 WHERE e2.m2 = 2

在這個例子中，我們在WHERE子句中指定了被驅動表e2的m2列等于2，也就相當于間接的指定了m2列不為NULL值，所以上邊的這個左（外）連接查詢其實和下邊這個內連接查詢是等價的：

SELECT* FROM e1 INNER JOIN e2 ON e1.m1 = e2.m2 WHERE e2.m2 = 2

我們把這種在外連接查詢中，指定的WHERE子句中包含被驅動表中的列不為NULL值的條件稱之為空值拒絕（英文名：reject-NULL）。在被驅動表的WHERE子句符合空值拒絕的條件后，外連接和內連接可以相互轉換。這種轉換帶來的好處就是查詢優(yōu)化器可以通過評估表的不同連接順序的成本，選出成本最低的那種連接順序來執(zhí)行查詢。

1.2.3.子查詢優(yōu)化

1.2.3.1.子查詢語法

在一個查詢語句A里的某個位置也可以有另一個查詢語句B，這個出現在A語句的某個位置中的查詢B就被稱為子查詢，A也被稱之為外層查詢。子查詢可以在一個外層查詢的各種位置出現，比如：

1）SELECT子句中

也就是我們平時說的查詢列表中，比如這樣：

SELECT(SELECT m1 FROM e1 LIMIT 1);

其中的(SELECT m1 FROM e1LIMIT 1)就是子查詢。

2）FROM子句中

SELECT m, n FROM (SELECT m2 + 1 AS m, n2 AS n FROM e2 WHERE m2 > 2) AS t;

這個例子中的子查詢是：(SELECT m2+1 AS m, n2 AS n FROM e2 WHERE m2 > 2)

這里可以把子查詢的查詢結果當作是一個表，子查詢后邊的AS t表明這個子查詢的結果就相當于一個名稱為t的表，這個名叫t的表的列就是子查詢結果中的列，比如例子中表t就有兩個列：m列和n列。

這個放在FROM子句中的子查詢本質上相當于一個表，但又和我們平常使用的表有點兒不一樣，MySQL把這種由子查詢結果集組成的表稱之為 派生表 。

3）WHERE或ON子句中

把子查詢放在外層查詢的WHERE子句或者ON子句中可能是我們最常用的一種使用子查詢的方式了，比如這樣：

SELECT * FROM e1 WHERE m1 IN (SELECT m2 FROM e2)

這個查詢表明我們想要將(SELECT m2FROM e2)這個子查詢的結果作為外層查詢的IN語句參數，整個查詢語句的意思就是我們想找e1表中的某些記錄，這些記錄的m1列的值能在e2表的m2列找到匹配的值。

4）ORDER BY子句、GROUP BY子句中

雖然語法支持，但沒啥意義。

還有一些其他的子查詢，這里不一一列舉

1.2.3.2.子查詢在MySQL中是怎么執(zhí)行的

想象中子查詢的執(zhí)行方式是這樣的：

如果該子查詢是不相關子查詢，比如下邊這個查詢：

SELECT * FROM s1 WHERE order_note IN (SELECT order_note FROM s2);

先單獨執(zhí)行(SELECTorder_note FROM s2)這個子查詢。

然后在將上一步子查詢得到的結果當作外層查詢的參數再執(zhí)行外層查詢

最后根據子查詢的查詢結果來檢測外層查詢WHERE子句的條件是否成立，如果成立，就把外層查詢的那條記錄加入到結果集，否則就丟棄。

但真的是這樣嗎？其實MySQL用了一系列的辦法來優(yōu)化子查詢的執(zhí)行，大部分情況下這些優(yōu)化措施其實挺有效的，下邊我們來看看各種不同類型的子查詢具體是怎么執(zhí)行的。

不同的子查詢

1）按返回的結果集區(qū)分子查詢

因為子查詢本身也算是一個查詢，所以可以按照它們返回的不同結果集類型而把這些子查詢分為不同的類型：

1.1)標量子查詢

那些只返回一個單一值的子查詢稱之為標量子查詢，比如這樣：

SELECT (SELECT m1 FROM e1 LIMIT 1);

或者這樣：

SELECT * FROM e1 WHERE m1 = (SELECT MIN(m2) FROM e2);SELECT * FROM e1 WHERE m1 < (SELECT MIN(m2) FROM e2);

這兩個查詢語句中的子查詢都返回一個單一的值，也就是一個標量。這些標量子查詢可以作為一個單一值或者表達式的一部分出現在查詢語句的各個地方。

1.2)行子查詢

顧名思義，就是返回一條記錄的子查詢，不過這條記錄需要包含多個列（只包含一個列就成了標量子查詢了）。比如這樣：

SELECT * FROM e1 WHERE (m1, n1) = (SELECT m2, n2 FROM e2 LIMIT 1);

其中的(SELECT m2, n2 FROM e2 LIMIT 1)就是一個行子查詢，整條語句的含義就是要從e1表中找一些記錄，這些記錄的m1和n1列分別等于子查詢結果中的m2和n2列。

1.3)列子查詢

列子查詢自然就是查詢出一個列的數據，不過這個列的數據需要包含多條記錄（只包含一條記錄就成了標量子查詢了）。比如這樣：

SELECT * FROM e1 WHERE m1 IN (SELECT m2 FROM e2);

其中的(SELECT m2 FROM e2)就是一個列子查詢，表明查詢出e2表的m2列的值作為外層查詢IN語句的參數。

1.4)表子查詢

顧名思義，就是子查詢的結果既包含很多條記錄，又包含很多個列，比如這樣：

SELECT * FROM e1 WHERE (m1, n1) IN (SELECT m2, n2 FROM e2);

其中的(SELECT m2, n2 FROM e2)就是一個表子查詢，

這里需要和行子查詢對比一下，行子查詢中我們用了LIMIT 1來保證子查詢的結果只有一條記錄，表子查詢中不需要這個限制。

2)按與外層查詢關系來區(qū)分子查詢

2.1)不相關子查詢

如果子查詢可以單獨運行出結果，而不依賴于外層查詢的值，我們就可以把這個子查詢稱之為不相關子查詢。我們前邊介紹的那些子查詢全部都可以看作不相關子查詢。

2.2)相關子查詢

如果子查詢的執(zhí)行需要依賴于外層查詢的值，我們就可以把這個子查詢稱之為相關子查詢。比如：

SELECT * FROM e1 WHERE m1 IN (SELECT m2 FROM e2 WHERE n1 = n2);

例子中的子查詢是(SELECT m2 FROM e2 WHERE n1 = n2)，

可是這個查詢中有一個搜索條件是n1 = n2，別忘了n1是表e1的列，也就是外層查詢的列，也就是說子查詢的執(zhí)行需要依賴于外層查詢的值，所以這個子查詢就是一個相關子查詢。

3) [NOT] IN/ANY/SOME/ALL子查詢

對于列子查詢和表子查詢來說，它們的結果集中包含很多條記錄，這些記錄相當于是一個集合，所以就不能單純的和另外一個操作數使用操作符來組成布爾表達式了，MySQL通過下面的語法來支持某個操作數和一個集合組成一個布爾表達式：

3.1)IN或者NOT IN

具體的語法形式如下：

操作數 [NOT] IN (子查詢)

這個布爾表達式的意思是用來判斷某個操作數在不在由子查詢結果集組成的集合中，比如下邊的查詢的意思是找出e1表中的某些記錄，這些記錄存在于子查詢的結果集中：

SELECT * FROM e1 WHERE (m1, n1) IN (SELECT m2, n2 FROM e2);

3.2) ANY/SOME（ANY和SOME是同義詞）

具體的語法形式如下：

操作數 比較符 ANY/SOME(子查詢)

這個布爾表達式的意思是只要子查詢結果集中存在某個值和給定的操作數做比較操作，比較結果為TRUE，那么整個表達式的結果就為TRUE，否則整個表達式的結果就為FALSE。比方說下邊這個查詢：

SELECT * FROM e1 WHERE m1 > ANY(SELECT m2 FROM e2);

這個查詢的意思就是對于e1表的某條記錄的m1列的值來說

如果子查詢(SELECTm2 FROM e2)的結果集中存在一個小于m1列的值，那么整個布爾表達式的值就是TRUE，

否則為FALSE，也就是說只要m1列的值大于子查詢結果集中最小的值，整個表達式的結果就是TRUE，所以上邊的查詢本質上等價于這個查詢：

SELECT * FROM e1 WHERE m1 > (SELECT MIN(m2) FROM e2);

另外，=ANY相當于判斷子查詢結果集中是否存在某個值和給定的操作數相等，它的含義和IN是相同的。

3.3)ALL具體的語法形式如下：

操作數 比較操作 ALL(子查詢)

這個布爾表達式的意思是子查詢結果集中所有的值和給定的操作數做比較操作比較結果為TRUE，那么整個表達式的結果就為TRUE，否則整個表達式的結果就為FALSE。比方說下邊這個查詢：

SELECT * FROM e1 WHERE m1 > ALL(SELECT m2 FROM e2);

這個查詢的意思就是對于e1表的某條記錄的m1列的值來說

如果子查詢(SELECT m2 FROM e2)的結果集中的所有值都小于m1列的值，那么整個布爾表達式的值就是TRUE，否則為FALSE，也就是說只要m1列的值大于子查詢結果集中最大的值，整個表達式的結果就是TRUE，所以上邊的查詢本質上等價于這個查詢：

SELECT * FROM e1 WHERE m1 > (SELECT MAX(m2) FROM e2);

3.4)EXISTS子查詢

有的時候我們僅僅需要判斷子查詢的結果集中是否有記錄，而不在乎它的記錄具體是個啥，可以使用把EXISTS或者NOT EXISTS放在子查詢語句前邊，就像這樣：

SELECT * FROM e1 WHERE EXISTS (SELECT 1 FROM e2);

對于子查詢(SELECT 1 FROM e2)來說，我們并不關心這個子查詢最后到底查詢出的結果是什么，所以查詢列表里填*、某個列名，或者其他啥東西都無所謂，我們真正關心的是子查詢的結果集中是否存在記錄。也就是說只要(SELECT 1 FROM e2)這個查詢中有記錄，那么整個EXISTS表達式的結果就為TRUE。

1.2.3.3.MySQL對IN子查詢的優(yōu)化

1）標量子查詢、行子查詢的執(zhí)行方式

對于不相關標量子查詢或者行子查詢來說，它們的執(zhí)行方式很簡單，比方說下邊這個查詢語句：

SELECT * FROM s1 WHERE order_note = (SELECT order_note FROM s2 WHERE key3 = 'a' LIMIT 1);

它的執(zhí)行方式和我們前面想象的一樣：

先單獨執(zhí)行(SELECT order_note FROM s2 WHERE key3 = ‘a’ LIMIT 1)這個子查詢。

然后在將上一步子查詢得到的結果當作外層查詢的參數，

再執(zhí)行外層查詢SELECT * FROM s1 WHERE order_note= …。

也就是說，對于包含不相關的標量子查詢或者行子查詢的查詢語句來說，MySQL會分別獨立的執(zhí)行外層查詢和子查詢，就當作兩個單表查詢就好了。

對于相關的標量子查詢或者行子查詢來說，比如下邊這個查詢：

SELECT * FROM s1 WHEREorder_note = (SELECT order_note FROM s2 WHERE s1.order_no= s2.order_no LIMIT 1);

事情也和我們前面想象的一樣，它的執(zhí)行方式就是這樣的：

先從外層查詢中獲取一條記錄，本例中也就是先從s1表中獲取一條記錄。

然后從上一步驟中獲取的那條記錄中找出子查詢中涉及到的值，本例中就是從s1表中獲取的那條記錄中找出s1.order_no列的值，然后執(zhí)行子查詢。

最后根據子查詢的查詢結果來檢測外層查詢WHERE子句的條件是否成立，如果成立，就把外層查詢的那條記錄加入到結果集，否則就丟棄。

再次執(zhí)行第一步，獲取第二條外層查詢中的記錄，依次類推。

也就是說對于兩種使用標量子查詢以及行子查詢的場景中，MySQL優(yōu)化器的執(zhí)行方式并沒有什么新鮮的。

2)物化表

對于不相關的IN子查詢，比如這樣：

SELECT * FROM s1 WHERE order_note IN (SELECT order_note FROM s2 WHERE order_no = 'a');

我們最開始的感覺就是這種不相關的IN子查詢和不相關的標量子查詢或者行子查詢是一樣一樣的，都是把外層查詢和子查詢當作兩個獨立的單表查詢來對待。但是MySQL為了優(yōu)化IN子查詢下了很大力氣，所以整個執(zhí)行過程并不像我們想象的那么簡單。

對于不相關的IN子查詢來說，如果子查詢的結果集中的記錄條數很少，那么把子查詢和外層查詢分別看成兩個單獨的單表查詢效率很高，但是如果單獨執(zhí)行子查詢后的結果集太多的話，就會導致這些問題：

1、結果集太多，可能內存中都放不下。

2、對于外層查詢來說，如果子查詢的結果集太多，那就意味著IN子句中的參數特別多，這就導致：無法有效的使用索引，只能對外層查詢進行全表掃描。

在對外層查詢執(zhí)行全表掃描時，由于IN子句中的參數太多，這會導致檢測一條記錄是否符合和IN子句中的參數匹配花費的時間太長。

比如說IN子句中的參數只有兩個：

SELECT * FROM tbl_name WHERE column IN (a, b);

這樣相當于需要對tbl_name表中的每條記錄判斷一下它的column列是否符合column = a OR column = b。

在IN子句中的參數比較少時這并不是什么問題，如果IN子句中的參數比較多時，比如這樣：

SELECT * FROM tbl_name WHERE column IN (a, b, c ..., ...);

那么這樣每條記錄需要判斷一下它的column列是否符合column =a OR column = b OR column = c OR …，這樣性能耗費可就多了。

MySQL的改進是不直接將不相關子查詢的結果集當作外層查詢的參數，而是將該結果集寫入一個臨時表里。寫入臨時表的過程是這樣的：

1、該臨時表的列就是子查詢結果集中的列。

2、寫入臨時表的記錄會被去重，臨時表也是個表，只要為表中記錄的所有列建立主鍵或者唯一索引。

一般情況下子查詢結果集不會大的離譜，所以會為它建立基于內存的使用Memory存儲引擎的臨時表，而且會為該表建立哈希索引。

如果子查詢的結果集非常大，超過了系統(tǒng)變量tmp_table_size或者max_heap_table_size，臨時表會轉而使用基于磁盤的存儲引擎來保存結果集中的記錄，索引類型也對應轉變?yōu)锽+樹索引。

MySQL把這個將子查詢結果集中的記錄保存到臨時表的過程稱之為 物化 （英文名：Materialize）。為了方便起見，我們就把那個存儲子查詢結果集的臨時表稱之為物化表。正因為物化表中的記錄都建立了索引（基于內存的物化表有哈希索引，基于磁盤的有B+樹索引），通過索引執(zhí)行IN語句判斷某個操作數在不在子查詢結果集中變得非?？?，從而提升了子查詢語句的性能。

3)物化表轉連接

事情到這就完了？我們還得重新審視一下最開始的那個查詢語句：

SELECT * FROM s1 WHERE order_note IN (SELECT order_note FROM s2 WHERE order_no = 'a');

當我們把子查詢進行物化之后，假設子查詢物化表的名稱為materialized_table，該物化表存儲的子查詢結果集的列為m_val，那么這個查詢

就相當于表s1和子查詢物化表materialized_table進行內連接：

SELECT s1.* FROM s1 INNER JOIN materialized_table ON order_note = m_val;

轉化成內連接之后就有意思了，查詢優(yōu)化器可以評估不同連接順序需要的成本是多少，選取成本最低的那種查詢方式執(zhí)行查詢。

我們分析一下上述查詢中使用外層查詢的表s1和物化表materialized_table進行內連接的成本都是由哪幾部分組成的：

1、如果使用s1表作為驅動表的話，總查詢成本由下邊幾個部分組成：

物化子查詢時需要的成本掃描s1表時的成本

s1表中的記錄數量 × 通過m_val = xxx對materialized_table表進行單表訪問的成本（我們前邊說過物化表中的記錄是不重復的，并且為物化表中的列建立了索引，所以這個步驟顯然是非?？斓模?/p>

2、如果使用materialized_table表作為驅動表的話，總查詢成本由下邊幾個部分組成：

物化子查詢時需要的成本掃描物化表時的成本

物化表中的記錄數量 × 通過order_note= xxx對s1表進行單表訪問的成本（如果order_note列上建立了索引，這個步驟還是非?？斓模?。

MySQL查詢優(yōu)化器會通過運算來選擇上述成本更低的方案來執(zhí)行查詢。

到此這篇關于MySQL的執(zhí)行原理之 MySQL的查詢重寫規(guī)則詳解的文章就介紹到這了,更多相關mysql查詢重寫規(guī)則內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論