mysql高效導數(shù)據(jù)的方法講解
更新時間：2013年09月28日 21:06:00 作者：
模擬現(xiàn)網(wǎng)測試，需要搭建測試環(huán)境，導入上億級的數(shù)據(jù)到數(shù)據(jù)庫。對于到的問題做些簡單記錄，有需要的朋友可以參考一下
數(shù)據(jù)：一個db，2000個表格，2000張表格數(shù)據(jù)，每條記錄30個column，平均每張表格4.3w條記錄，總共86388670條記錄。
機器：linux 64bit 8G內(nèi)存 4核IntelX3320@2.5GHz
基本思路：
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語句放在xxxx.sql中
load語法：
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導入數(shù)據(jù)，會很慢，考慮并行，但可能有沖突，解決辦法：
load之前清空表
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關(guān)鍵字。
機器：linux 64bit 8G內(nèi)存 4核IntelX3320@2.5GHz
基本思路：
復制代碼 代碼如下:
mysql -utest -pxxxx -s -e "source xxxx.sql"
將load語句放在xxxx.sql中
load語法：
復制代碼 代碼如下:
load data [low_priority] [local] infile 'file_name.txt' [replace | ignore]
如果串行導入數(shù)據(jù)，會很慢，考慮并行，但可能有沖突，解決辦法：
load之前清空表
復制代碼 代碼如下:
truncate table xxxx 或 delete from table xxxx;
或使用replace或ignore關(guān)鍵字。
相關(guān)文章
這篇文章主要介紹了詳解MySQL主從不一致情形與解決方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-04-04
MySQL中sleep函數(shù)的特殊現(xiàn)象示例詳解
這篇文章主要給大家介紹了關(guān)于MySQL中sleep函數(shù)特殊現(xiàn)象的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者使用MySQL具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2019-10-10
MySQL8.0內(nèi)存相關(guān)參數(shù)總結(jié)
這篇文章主要介紹了MySQL8.0內(nèi)存相關(guān)參數(shù)總結(jié)，幫助大家更好的理解和學習mysql，感興趣的朋友可以了解下2020-08-08
升級到mysql-connector-java8.0.27的注意事項
這篇文章主要介紹了升級到mysql-connector-java8.0.27的注意事項,凡是升級總會碰到點問題，換了連接器后部署果然報錯了，下面小編給大家分享解決方法，需要的朋友可以參考下2021-12-12
mysql數(shù)據(jù)庫數(shù)據(jù)批量插入的實現(xiàn)
本文介紹了在MySQL數(shù)據(jù)庫中進行數(shù)據(jù)批量插入和性能測試的方法,包括使用Navicat批量插入數(shù)據(jù)、編寫SQL測試、索引的創(chuàng)建和使用、查詢測試以及提升SQL性能的優(yōu)化方法,感興趣的可以參考一下2024-11-11
mysql 記錄不存在時插入 記錄存在則更新的實現(xiàn)方法
相信很多人都需要用到這個語句，請看下文:(在4.1以后的版本才有效)2008-08-08
這篇文章主要介紹了mysql中的字符集和校驗規(guī)則的相關(guān)資料，幫助大家更好的理解和學習MySQL，感興趣的朋友可以了解下2020-12-12
在MySQL執(zhí)行UPDATE語句時遇到的錯誤1175的解決方案
MySQL安全更新模式（SafeUpdateMode）限制了UPDATE和DELETE操作,要求使用WHERE子句時必須基于主鍵或索引列,或者使用LIMIT限制行數(shù),若SQL語句未滿足這些條件,會觸發(fā)錯誤1175,本文介紹在MySQL執(zhí)行UPDATE語句時遇到的錯誤1175的解決方案,感興趣的朋友一起看看吧2025-02-02
這篇文章主要介紹了MySQL?Varchar?類型尾部空格,在這里需要注意的是?binary?排序規(guī)則的?pad?屬性為?NO?PAD，這里其實不是個例外，因為?char、varchar?和?text?類型都歸類為?nonbinary，感興趣的朋友跟隨小編一起學習下吧2022-04-04
MySQL數(shù)據(jù)庫遭到攻擊篡改(使用備份和binlog進行數(shù)據(jù)恢復)
這篇文章主要介紹了MySQL數(shù)據(jù)庫遭到攻擊篡改(使用備份和binlog進行數(shù)據(jù)恢復),需要的朋友可以參考下2016-04-04