mysql數(shù)據(jù)損壞,如何通過ibd和frm文件批量恢復(fù)數(shù)據(jù)庫數(shù)據(jù)
問題描述
客戶那邊的測(cè)試服務(wù)器下午3:00左右因不明原因,所有服務(wù)訪問不了,ssh也無法連接,客戶手動(dòng)進(jìn)行強(qiáng)制重啟服務(wù)器,重啟后將所有應(yīng)用、中間件重啟,重啟nacos時(shí)發(fā)現(xiàn)無法連接數(shù)據(jù)庫,通過賬號(hào)密碼登錄到數(shù)據(jù)庫發(fā)現(xiàn)可以正常登錄,但是奇怪的問題來了。。。
show tables 時(shí)可以正??吹奖?,但是查詢表中數(shù)據(jù)時(shí)發(fā)現(xiàn)提示表不存在。。
如下圖:

查看mysql日志:

作為一名mysql菜的不能再菜的小白。。這屬實(shí)難到我了,看起來像是數(shù)據(jù)損壞。。沒辦法,通過多方查詢資料,解決辦法如下:
解決辦法
首先了解InnoDB引擎創(chuàng)建數(shù)據(jù)庫會(huì)產(chǎn)生的文件:
.ibd:包含每個(gè)表的數(shù)據(jù)和索引.frm:描述表的結(jié)構(gòu)ibdata1:包含所有表的字典和歷史操作

在test目錄下,包含每個(gè)表的.ibd和.frm文件

恢復(fù)前提:ibd文件的數(shù)據(jù)都是正常的
之后也是需要通過這些文件進(jìn)行恢復(fù),我這邊新啟了一個(gè)mysql實(shí)例,過程略,
大體的恢復(fù)步驟如下:
1.在新的mysql實(shí)例中創(chuàng)建數(shù)據(jù)庫,需要跟原數(shù)據(jù)庫的庫名和字符集保持一致
2.創(chuàng)建數(shù)據(jù)表,表名要求一致,對(duì)應(yīng)原庫data目錄下的表名(我這里用工具對(duì)原庫表的表結(jié)構(gòu)導(dǎo)出創(chuàng)建的)
3.通過.ibd文件批量恢復(fù)表數(shù)據(jù)信息
- 3.1 讓表結(jié)構(gòu)和表空間脫離
- 3.2 將需要恢復(fù)的.ibd替換到新實(shí)例的/data的對(duì)應(yīng)庫下
1、安裝mysqlfrm 工具
下載鏈接:
wget https://cdn.mysql.com/archives/mysql-utilities/mysql-utilities-1.6.5.tar.gz tar -xvf mysql-utilities-1.6.5.tar.gz cd mysql-utilities-1.6.5/ 安裝(需要Python環(huán)境,python2.6及以上) python ./setup.py build python ./setup.py install 檢查是否安裝成功 mysqlfrm --version
2、使用mysqlfrm查看表結(jié)構(gòu)創(chuàng)建語句
mysqlfrm 有–basedir模式以及–server 模式,推薦–server,能夠還原最為準(zhǔn)確的信息
使用方式(需要啟動(dòng)原mysql):
格式:mysqlfrm --server=用戶名:密碼@數(shù)據(jù)庫地址:端口 需恢復(fù)的frm文件目錄 --diagnostic > 保存SQL文件名.sql
mysqlfrm --server=root:password@x.x.x.x:13306 /home/mysql/data/test/*.frm --diagnostic > test_frm.sql

執(zhí)行所生成的SQL文件
注:mysqlfrm僅僅顯示整個(gè)數(shù)據(jù)庫的表結(jié)構(gòu)創(chuàng)建語句,可以顯示在控制臺(tái)也可以輸出到文件,不過需要手動(dòng)執(zhí)行這些表的創(chuàng)建SQL語句。
先創(chuàng)建數(shù)據(jù)庫
CREATE database test;
可以查看生成的sql文件手動(dòng)刪除相關(guān)無用信息等,可命令行執(zhí)行或者客戶端執(zhí)行等
命令行導(dǎo)入:
mysql -uroot -ppassword test < test_frm.sql
此時(shí)執(zhí)行完就可以通過desc命令查看到表結(jié)構(gòu)了(報(bào)錯(cuò)1:這步我遇到報(bào)錯(cuò),下面有解決方法)
3、通過.ibd文件批量恢復(fù)表數(shù)據(jù)信息
1)讓表結(jié)構(gòu)和表空間脫離生
成表結(jié)構(gòu)和表空間脫離的sql:
mysql -uroot -ppassword -h x.x.x.x -P 13306 -e " SELECT concat('alter table ', table_name, ' discard tablespace;') FROM information_schema.tables WHERE table_schema = 'test';" > /root/test.sql將sql文件中沒有用的內(nèi)容刪除
sed '/^c/d' /root/test.sql> /root/test_discard_new.sql
將sql文件導(dǎo)入到新庫
mysql -uroot -ppassword -h x.x.x.x -P 13307 test_AII < test_discard_new.sql
2)將需要恢復(fù)的.ibd文件替換到新庫所在的/data/庫名 目錄下
cp /home/mysql/data/test/*.ibd /home/mysql-test/data/test/
3)權(quán)限設(shè)置
chown -R mysql. /home/mysql-test/data/test
4)導(dǎo)入表空間
mysql -uroot -ppassword -h x.x.x.x -P 13306 -e " SELECT concat('alter table ', table_name, ' import tablespace;') FROM information_schema.tables WHERE table_schema = 'test';" > /root/tem_import.sql清除沒用的數(shù)據(jù)
sed '/^c/d' /root/tem_import.sql > /root/config_import.sql
將sql文件導(dǎo)入(報(bào)錯(cuò)2:有報(bào)錯(cuò),下面有解決方法)
mysql -uroot -ppassword -h x.x.x.x -P 13307 test_aii < /root/config_import.sql
此時(shí)如果操作沒問題,查看數(shù)據(jù)庫表已經(jīng)有了原始數(shù)據(jù)了(報(bào)錯(cuò)3:有報(bào)錯(cuò),查看下面解決方法)
恢復(fù)過程中遇到的問題
報(bào)錯(cuò)1、在導(dǎo)入創(chuàng)建表結(jié)構(gòu)語句的時(shí)候報(bào)錯(cuò)了,顯示語法錯(cuò)誤我的創(chuàng)建表語句如下:
1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '5, COMMENT 'config_info'' at line 21, Time: 0.011000s
建表語句:
CREATE TABLE `test_config`.`config_info` ( `id` bigint(20) NOT NULL AUTO_INCREMENT comment 'id', `data_id` varchar(255) COLLATE `utf8_bin` NOT NULL comment 'data_id', `group_id` varchar(255) COLLATE `utf8_bin` DEFAULT NULL, `content` longtext COLLATE `utf8_bin` comment 'content', `md5` varchar(32) COLLATE `utf8_bin` DEFAULT NULL comment 'md5', `gmt_create` datetime NOT NULL comment '創(chuàng)建時(shí)間', `gmt_modified` datetime NOT NULL comment '修改時(shí)間', `src_user` text COLLATE `utf8_bin` DEFAULT NULL comment 'source user', `src_ip` varchar(50) COLLATE `utf8_bin` DEFAULT NULL comment 'source ip', `app_name` varchar(128) COLLATE `utf8_bin` DEFAULT NULL, `tenant_id` varchar(128) COLLATE `utf8_bin` DEFAULT NULL comment '租戶字段', `c_desc` varchar(256) COLLATE `utf8_bin` DEFAULT NULL, `c_use` varchar(64) COLLATE `utf8_bin` DEFAULT NULL, `effect` varchar(64) COLLATE `utf8_bin` DEFAULT NULL, `type` varchar(64) COLLATE `utf8_bin` DEFAULT NULL, `c_schema` text COLLATE `utf8_bin` DEFAULT NULL, `encrypted_data_key` text COLLATE `utf8_bin` comment '秘鑰', PRIMARY KEY `PRIMARY` (`id`) USING BTREE, UNIQUE KEY `uk_configinfo_datagrouptenant` (`data_id`(255),`group_id`(255),`tenant_id`(128)) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8, ROW_FORMAT = 5, COMMENT 'config_info';
解決方法:
將ROW_FORMAT 改為COMPACT或DYNAMIC就可以解決
報(bào)錯(cuò)2:導(dǎo)入表空間時(shí),報(bào)錯(cuò)
ERROR 1812 (HY000): Tablespace is missing for table ops.tt7.
解決方法:查看從原庫/data/目錄copy的.ibd文件的屬主和屬組是否是mysql的啟動(dòng)用戶,不是則修改即可
報(bào)錯(cuò)3:所有步驟執(zhí)行完成后,重啟mysql時(shí)啟動(dòng)失敗,查看mysql日志如下報(bào)錯(cuò):
[InnoDB] [FATAL] Tablespace id is xx in the data dictionary but in file .\test\config.ibd it is xx!
這個(gè)錯(cuò)誤意思就是庫名表名一致,但是表空間id已經(jīng)不同了,說明上面的執(zhí)行步驟有錯(cuò)誤,導(dǎo)致表空間id記錄在兩個(gè)地方,一個(gè)在系統(tǒng)表空間中的字典表,一個(gè)記錄在表對(duì)應(yīng)的ibd文件里。這個(gè)時(shí)候,不管出于何種原因,ibd文件使用了舊文件,就會(huì)報(bào)這個(gè)錯(cuò)誤。并且導(dǎo)致mysqld進(jìn)程崩潰退出。
解決方法:
將對(duì)應(yīng)的庫中的某個(gè)表刪除,并重新生成表結(jié)構(gòu)并創(chuàng)建表,然后重新將原表結(jié)構(gòu)和表空間脫離并重新導(dǎo)入表空間,操作上面都有,重新執(zhí)行即可
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- MySQL通過binlog實(shí)現(xiàn)恢復(fù)數(shù)據(jù)
- Python MySQL如何通過Binlog獲取變更記錄恢復(fù)數(shù)據(jù)
- MySQL通過日志恢復(fù)數(shù)據(jù)的操作步驟
- MySQL通過ibd文件恢復(fù)數(shù)據(jù)的操作過程
- MySQL開啟配置binlog及通過binlog恢復(fù)數(shù)據(jù)步驟詳析
- mysql binlog如何恢復(fù)數(shù)據(jù)到某一時(shí)刻
- MySQL誤刪后使用binlog恢復(fù)數(shù)據(jù)的實(shí)現(xiàn)方法
- Mysql如何通過ibd文件恢復(fù)數(shù)據(jù)
- mysql如何根據(jù).frm和.ibd文件恢復(fù)數(shù)據(jù)表
- 一步步教你如何使用mysql?binlog恢復(fù)數(shù)據(jù)
- MySql恢復(fù)數(shù)據(jù)方法梳理講解
- Mysql通過ibd文件恢復(fù)數(shù)據(jù)的詳細(xì)步驟
- MySQL數(shù)據(jù)庫通過Binlog恢復(fù)數(shù)據(jù)的詳細(xì)步驟
- Mysql如何通過binlog日志恢復(fù)數(shù)據(jù)詳解
- mysql5.7使用binlog 恢復(fù)數(shù)據(jù)的方法
- MySQL通過binlog恢復(fù)數(shù)據(jù)
- mysql8.0無備份通過idb文件恢復(fù)數(shù)據(jù)的方法、idb文件修復(fù)和tablespace?id不一致處理
相關(guān)文章
Mysql使用sum()函數(shù)返回null的問題詳解
MySQL的Sum()函數(shù)是用來找出所有記錄的一個(gè)字段的總和,下面這篇文章主要給大家介紹了關(guān)于Mysql使用sum()函數(shù)返回null的問題,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-01-01
小白安裝登錄mysql-8.0.19-winx64的教程圖解(新手必看)
這篇文章主要介紹了安裝登錄mysql-8.0.19-winx64的教程圖解,非常適合新手學(xué)習(xí)參考,本文通過圖文并茂的形式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-03-03
利用mycat實(shí)現(xiàn)mysql數(shù)據(jù)庫讀寫分離的示例
本篇文章主要介紹了利用mycat實(shí)現(xiàn)mysql數(shù)據(jù)庫讀寫分離的示例,mycat是最近很火的一款國人發(fā)明的分布式數(shù)據(jù)庫中間件,它是基于阿里的cobar的基礎(chǔ)上進(jìn)行開發(fā)的,有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-03-03
mysql中數(shù)據(jù)統(tǒng)計(jì)的技巧備忘錄
mysql是常用數(shù)據(jù)庫,對(duì)于數(shù)字操作相關(guān)的東西相當(dāng)方便,這篇文章主要給大家介紹了關(guān)于mysql中數(shù)據(jù)統(tǒng)計(jì)技巧的相關(guān)資料,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2018-05-05
mysql server 5.7.20 安裝配置方法圖文教程
這篇文章主要為大家詳細(xì)介紹了mysql server 5.7.20 安裝配置方法圖文教程,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-09-09

