快捷導(dǎo)航

將sqlite3中數(shù)據(jù)導(dǎo)入到mysql中的實(shí)戰(zhàn)教程

更新時(shí)間：2017年07月11日 10:42:05 作者：小子

最近因?yàn)楣ぷ鞯男枨螅枰獙qlite3中的數(shù)據(jù)導(dǎo)入到mysql中去，發(fā)現(xiàn)網(wǎng)上的一些教程都不夠詳細(xì)，索性自己寫(xiě)一篇，下面這篇文章主要給大家介紹了關(guān)于將sqlite3數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入到mysql數(shù)據(jù)庫(kù)中的相關(guān)資料，需要的朋友可以參考下。

前言

sqlite3只小巧輕便，但是并不支持并發(fā)訪問(wèn)，當(dāng)網(wǎng)站并發(fā)量較大時(shí)候，數(shù)據(jù)庫(kù)請(qǐng)求隊(duì)列邊長(zhǎng)，有可能導(dǎo)致隊(duì)列末尾去數(shù)據(jù)庫(kù)操作超時(shí)，從而操作失敗。因此需要切換到支持并發(fā)訪問(wèn)的數(shù)據(jù)庫(kù)。切換數(shù)據(jù)庫(kù)需要將老的數(shù)據(jù)導(dǎo)出，再導(dǎo)入到新的數(shù)據(jù)庫(kù)中，但是sqlite3和mysql的數(shù)據(jù)庫(kù)并不完全兼容，需要做部分調(diào)整才能正常導(dǎo)入到mysql中。我最近工作中就遇到了這個(gè)問(wèn)題。

最近一個(gè)項(xiàng)目中使用magenetico抓取磁力鏈接，由于它使用的是sqlite3, 文件會(huì)越來(lái)越大，而且不支持分布式；所以需要將其改造成MySQL，在遷移之前需要將已經(jīng)抓取的15G數(shù)據(jù)導(dǎo)入到MySQL，下面來(lái)一起看看詳細(xì)的介紹吧

方法如下：

從sqlite3文件dump出sql

sqlite3 database.sqlite3
sqlite3> .output /path/to/dump.sql
sqlite3> .dump
sqlite3> .exit

切分文件

文件比較大的時(shí)候，很有導(dǎo)入到一半的時(shí)候失敗，這個(gè)時(shí)候需要從失敗的行開(kāi)始切分出一個(gè)新的sql文件來(lái)

awk '{if (NR>=6240863) print $0>"dump_part.sql"}' dump.sql

mysql參數(shù)修改

[mysqld]
max_allowed_packet = 100M

sql兼容, 符號(hào)替換

# 1. 刪除不包含 INSERT INTO 的行
# 2. 替換表名 wrap
# 3. 替換 hex
sed '/INSERT INTO/!d;s/"table1"/`table1`/;s/"table2"/`table2`/;s/,X/,/' dump.sql

導(dǎo)入到MySQL

# 加上 force 參數(shù), 防止部分有問(wèn)題的sql阻止導(dǎo)入
mysql -uroot -p -f magnet < dump.sql

引用

How To Use The SQLite Dump Command

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。

您可能感興趣的文章:

相關(guān)文章

大數(shù)據(jù)時(shí)代的數(shù)據(jù)庫(kù)選擇：SQL還是NoSQL？
執(zhí)行大數(shù)據(jù)項(xiàng)目的企業(yè)面對(duì)的關(guān)鍵決策之一是使用哪個(gè)數(shù)據(jù)庫(kù)，SQL還是NoSQL?SQL有著驕人的業(yè)績(jī)，龐大的安裝基礎(chǔ);而NoSQL正在獲得可觀的收益，且有很多支持者。我們來(lái)看看兩位專(zhuān)家對(duì)這個(gè)問(wèn)題的看法
2014-03-03
在PostgreSQL中使用數(shù)組時(shí)值得注意的一些地方
這篇文章主要介紹了在PostgreSQL中使用數(shù)組時(shí)值得注意的一些地方,包括如何提高輸入性能,需要的朋友可以參考下
2015-04-04
海量數(shù)據(jù)庫(kù)的查詢(xún)優(yōu)化及分頁(yè)算法方案 2 之改良SQL語(yǔ)句
海量數(shù)據(jù)庫(kù)的查詢(xún)優(yōu)化及分頁(yè)算法方案 2 之改良SQL語(yǔ)句...
2007-03-03
DBeaver復(fù)制數(shù)據(jù)庫(kù)圖文教程(數(shù)據(jù)庫(kù)表結(jié)構(gòu)以及內(nèi)容)
DBeaver提供一個(gè)圖形界面用來(lái)查看數(shù)據(jù)庫(kù)結(jié)構(gòu)、執(zhí)行SQL查詢(xún)和腳本,下面這篇文章主要給大家介紹了關(guān)于DBeaver復(fù)制數(shù)據(jù)庫(kù)(數(shù)據(jù)庫(kù)表結(jié)構(gòu)以及內(nèi)容)的相關(guān)資料,需要的朋友可以參考下
2024-01-01
MSSQL內(nèi)連接inner join查詢(xún)方法
sql內(nèi)連接查詢(xún)代碼，實(shí)例分析inner join實(shí)現(xiàn)方法
2008-04-04
淺析GBase8s?唯一索引與非唯一索引問(wèn)題
GBase8s中主鍵（PRIMARY?KEY）會(huì)自動(dòng)創(chuàng)建一個(gè)唯一索引。一個(gè)良好的表設(shè)計(jì)都應(yīng)該定義主鍵或者唯一約束索引。特別是在OLTP系統(tǒng)中，唯一索引可以幫助快速定位少量記錄，對(duì)GBase8s?索引相關(guān)知識(shí)感興趣的朋友一起看看吧
2022-02-02
數(shù)據(jù)分析之ELT的基本概念
這篇文章主要介紹了數(shù)據(jù)分析之ELT的基本概念, ETL是英文Extract-Transform-Load的縮寫(xiě)，用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過(guò)程,需要的朋友可以參考下
2023-07-07
5分鐘快速了解數(shù)據(jù)庫(kù)死鎖產(chǎn)生的場(chǎng)景和解決方法
這篇文章主要給大家介紹了關(guān)于如何通過(guò)5分鐘快速理解數(shù)據(jù)庫(kù)死鎖的相關(guān)資料，文中介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2021-05-05
你也許連刪庫(kù)跑路都不會(huì)（delete、drop和truncate刪除數(shù)據(jù)）
這篇文章主要給大家介紹了關(guān)于delete、drop和truncate刪除數(shù)據(jù)的方式，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-11-11
多條件查詢(xún)的程序
在一個(gè)網(wǎng)站中，常常會(huì)使用到查詢(xún)功能。假設(shè)一個(gè)企業(yè)內(nèi)部網(wǎng)中，用戶(hù)信息里通常會(huì)涉及到工號(hào)、姓名、性別、學(xué)歷、職業(yè)、職稱(chēng)、身份證號(hào)碼、手機(jī)號(hào)碼、座機(jī)號(hào)碼、傳真號(hào)碼、郵政編號(hào)、通訊地址等信息。
2009-05-05