腳本之家服務器常用軟件

快捷導航

MySql更新優(yōu)化策略

更新時間：2015年08月07日 09:56:02 投稿：mrr

數據庫優(yōu)化是一項很復雜的工作，因為這關系到對系統(tǒng)優(yōu)化的理解。mysql更新優(yōu)化是程序員必掌握的知識，這篇文章主要介紹mysql更新優(yōu)化的策略，需要的朋友可以參考下

模擬場景一：

給數據庫中的一張表的結構調整，添加幾個字段，后面對之前的數據進行刷新，刷新的內容是對其中的一個已有字段url進行匹配，然后更新新加的字段type和typeid。

后來就寫了個shell腳本來刷數據，結果運行shell腳本后我就懵了，怎么這么慢~~~

情景再現(xiàn)

復制代碼代碼如下:

CREATE TABLE `fuckSpeed` (

  `uin` bigint(20) unsigned NOT NULL DEFAULT 0,

  `id` int(11) unsigned NOT NULL DEFAULT 0,

  `url` varchar(255) NOT NULL DEFAULT '',

  `type` int(11) unsigned NOT NULL DEFAULT 0,

  `typeid` varchar(64) NOT NULL DEFAULT '',

  ......

  KEY `uin_id` (`uin`,`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

表結構大概是上面這樣的（省略了好多字段），表中只有一個聯(lián)合索引uin_id，而我在更新的時候是下面的思路：

首先根據一個id范圍獲取到一定數量的數據

復制代碼代碼如下:

select id,url from funkSpeed where id>=101 and id<=200;

遍歷所有的數據，對每一條數據進行更新

#首先對數據進行處理，匹配獲取type和typeid

復制代碼代碼如下:

update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

按照上面的思路搞了之后，發(fā)現(xiàn)更新特別的慢，平均每秒鐘3~5個左右，我也是醉了，我看看要更新的數據，總共有32w+條，這樣更新下來大概需要24h+，也就是1天還要多，額~~哭了，想想肯定是哪里出問題了。

發(fā)現(xiàn)問題
首先我想到的是是不是因為只有一個進程在更新，導致很慢，我啟動了5個進程，將id分段了，就像下面這樣

復制代碼代碼如下:

./update_url.sh 0 10000 &

./update_url.sh 10000 20001 &

./update_url.sh 20001 30001 &

./update_url.sh 30002 40002 &

./update_url.sh 40003 50003 &

運行之后發(fā)現(xiàn)還是那樣，速度沒有提升多少，還是每秒鐘更新3~5個左右，想想也是啊，時間不可能花費在插入數據之前的那些步驟（匹配、組裝sql語句、。。。），應該是插入的時候有問題

再來看看我的sql語句

復制代碼代碼如下:

select id,url from funkSpeed where id>=101 and id<=200;，

這里，試著在命令行執(zhí)行了下，結果如下

復制代碼代碼如下:

mysql> select id,url from funkSpeed where id>=0 and id<=200;

Empty set (0.18 sec)

竟然花了0.18秒，這個時候我猜恍然大悟，聯(lián)合索引我沒有使用到，聯(lián)合索引生效的條件是——必須要有左邊的字段，用explain驗證下，果然是這樣：

復制代碼代碼如下:

mysql> explain id,url from funkSpeed where id>=0 and id<=200;

+-------------+------+---------------+------+---------+------+--------+-------------+

| table       | type | possible_keys | key  | key_len | ref  | rows   | Extra       |

+-------------+------+---------------+------+---------+------+--------+-------------+

| funkSpeed   | ALL  | NULL          | NULL | NULL    | NULL | 324746 | Using where |

+-------------+------+---------------+------+---------+------+--------+-------------+

1 row in set (0.00 sec)

然后使用聯(lián)合索引：

復制代碼代碼如下:

mysql> select uin,id from funkSpeed where uin=10023 and id=162;

+------------+----------+

| uin        |   id     |

+------------+----------+

| 10023      | 162      |

+------------+----------+

1 row in set (0.00 sec)

mysql> explain select uin,id from funkSpeed where uin=10023 and id=162;

+-------------+------+---------------+----------+---------+-------------+------+-------------+

| table       | type | possible_keys | key      | key_len | ref         | rows | Extra       |

+-------------+------+---------------+----------+---------+-------------+------+-------------+

| funkSpeed   | ref  | uin_id        | uin_id   | 12      | const,const |    4 | Using index |

+-------------+------+---------------+----------+---------+-------------+------+-------------+

1 row in set (0.00 sec)

可以看到幾乎是秒查，這個時候基本可以斷定問題是出現(xiàn)在索引這個地方了

我select的時候次數比較少，每兩個select之間id相差10000，所以這里可以忽略掉，而且這里沒辦法優(yōu)化，除非在id上面添加索引。

問題發(fā)生在

復制代碼代碼如下:

update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

這里在更新的時候也是會用到查詢的，我的mysql版本是5.5，不能explain update，不然肯定可以驗證我所說的，這里要更新32w+條數據，每條數據都會去更新，每條數據0.2s左右，這太嚇人了~~

解決問題
問題找到了，解決起來就容易多了~~

select的時候加了一個字段uin，改為下面這樣

復制代碼代碼如下:

select uin,id,url from funkSpeed where id>=101 and id<=200;

然后更新的時候使用

復制代碼代碼如下:

update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id]

這樣一來索引就是用上了。

三下五除二改好了代碼，試著啟動了一個進程，看看效果如何，果然，效果提升的不是一點點，平均30+次/s，這樣大概3個小時左右就可以完成所有的更新了。

模擬場景二：
需求6個表 pid字段寫到對應的brand_id字段

問題sql背景：項目有6個表的要根據pid字段要寫入對應的brand_id字段。但是這個其中有兩個表是千萬級別的。我的worker運行之后，線上的mysql主從同步立刻延遲了！運行了一個多小時之后，居然延遲到了40分鐘，而且只更新了十幾萬行數據。問題sql如下：

復制代碼代碼如下:

<!-- 根據商品id更新品牌id -->

    <update id="updateBrandIdByPid" parameterClass="com.jd.chat.worker.domain.param.UpdateBrandIdParam">

        UPDATE $tableName$

        SET brand_id = #newBrandId#

        WHERE pid = #pid#

            AND brand_id = 0

    </update>

項目組的mysql專家?guī)臀曳治隽讼拢驗閜id字段沒有索引，mysql引擎要逐行掃描出與傳入的pid值相等的列，然后更新數據，也就是要掃描完1000W+行磁盤數據才能執(zhí)行完這個sql。更嚴重的是，這個千萬級的表里面有多少個不同的pid，我就要執(zhí)行多少個這樣的sql。
同事給我的建議的根據id字段進行sql代碼層次的縱向分表。每次更新1000行的數據，這樣mysql引擎就不用每次在掃全表了，數據庫壓力是之前的萬分之一。而且id作為主鍵，是有索引的有索引，有索引能大大優(yōu)化查詢性能，優(yōu)化后的sql如下：

復制代碼代碼如下:

<!-- 根據商品id更新品牌id -->

    <update id="updateBrandIdByPid" parameterClass="com.jd.chat.worker.domain.param.UpdateBrandIdParam">

        UPDATE $tableName$

        SET brand_id = #newBrandId#

        WHERE pid = #pid#

            AND brand_id = 0

            AND id BETWEEN #startNum# AND #endNum#

    </update>

僅僅用了id限區(qū)間的語句，將一個千萬級的大表代碼層次上進行縱向切割。重新上線worker后，mysql主從沒有任何延遲！而且經過監(jiān)視，短短10分鐘就更新了十幾萬數據，效率是之前的6倍！更重要的是數據庫負載均衡，應用健康運行。

以上通過兩個問題模擬場景再現(xiàn)分析MySql更新優(yōu)化策略，希望對大家在數據庫方面有所幫助。

您可能感興趣的文章: