腳本之家服務器常用軟件

快捷導航

mysql sql大文件導入正確姿勢

更新時間：2025年02月18日 13:00:07 投稿：mdxy-dxy

在 MySQL 中導入大文件時,mysql source 導入大文件速度太慢,可能會遇到性能問題或內存限制,以下是一些優(yōu)化導入大文件的建議,需要的朋友可以參考一下

1. 使用 LOAD DATA INFILE

LOAD DATA INFILE 是 MySQL 提供的快速導入數(shù)據(jù)的方式，比逐條 INSERT 語句快得多。

LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS; -- 如果有標題行，可以忽略

2. 調整 MySQL 配置

如果文件非常大，可能需要調整 MySQL 的配置參數(shù)：

max_allowed_packet: 增加允許的最大數(shù)據(jù)包大小。
innodb_buffer_pool_size: 增加 InnoDB 緩沖池的大小，以提高性能。
bulk_insert_buffer_size: 增加批量插入緩沖區(qū)的大小。

SET GLOBAL max_allowed_packet = 1G;
SET GLOBAL innodb_buffer_pool_size = 2G;
SET GLOBAL bulk_insert_buffer_size = 256M;

3. 分批導入

如果文件過大，可以將其拆分為多個小文件，分批導入。

4. 禁用索引和外鍵檢查

在導入數(shù)據(jù)時，禁用索引和外鍵檢查可以顯著提高性能。

ALTER TABLE your_table DISABLE KEYS;
SET FOREIGN_KEY_CHECKS = 0;

-- 導入數(shù)據(jù)

ALTER TABLE your_table ENABLE KEYS;
SET FOREIGN_KEY_CHECKS = 1;

5. 使用命令行工具

可以使用 mysql 命令行工具導入數(shù)據(jù)：

mysql -u username -p database_name < /path/to/your/file.sql

6. 使用 mysqldump 和 mysqlimport

對于大型 SQL 文件，可以使用 mysqldump 導出數(shù)據(jù)，再使用 mysqlimport 導入。

mysqldump -u username -p database_name > backup.sql
mysql -u username -p database_name < backup.sql

7. 使用第三方工具

有一些第三方工具可以幫助導入大文件，如 pt-archiver 或 mydumper/myloader。

8. 優(yōu)化表結構

確保表結構合理，避免不必要的索引和約束，以提高導入速度。

9. 使用事務

將多個 INSERT 語句放在一個事務中，可以減少提交次數(shù)，提高性能。

START TRANSACTION;

INSERT INTO your_table VALUES (...);
INSERT INTO your_table VALUES (...);
-- 更多 INSERT 語句

COMMIT;

10. 監(jiān)控和調整

在導入過程中，監(jiān)控系統(tǒng)資源使用情況（如 CPU、內存、磁盤 I/O），并根據(jù)需要調整配置。

通過這些方法，可以有效地導入大文件到 MySQL 數(shù)據(jù)庫中。

11.解決方案

關閉二進制日志和事務自動提交
手動開啟事務,導入數(shù)據(jù)
提交事務
重新開啟二進制日志和事務自動提交

set sql_log_bin=off;
set autocommit=0;
start transaction;
source 文件.sql;
commit;
set sql_log_bin=on;
set autocommit=1;

到此這篇關于mysql sql大文件導入正確姿勢的文章就介紹到這了,更多相關mysql 大文件導入內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线