hive從mysql導(dǎo)入數(shù)據(jù)量變多的解決方案
原始導(dǎo)數(shù)命令：
bin/sqoop import -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info
原因分析：可能是mysql中字段里面有'\n'等分隔符，導(dǎo)入hive時(shí)默認(rèn)以'n'作換行符，導(dǎo)致hive中的記錄數(shù)變多。
解決方法：
導(dǎo)入數(shù)據(jù)時(shí)加上--hive-drop-import-delims選項(xiàng)，會(huì)刪除字段中的\n,\r,\01。
最終導(dǎo)數(shù)命令：
bin/sqoop import -connect jdbc:mysql://192.168.169.128:3306/yubei -username root -password 123456 -table yl_city_mgr_evt_info --split-by rec_id -m 4 --hive-drop-import-delims --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --hive-overwrite -create-hive-table -delete-target-dir -hive-database default -hive-table yl_city_mgr_evt_info
參考官方文檔：https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html
補(bǔ)充：Sqoop導(dǎo)入MySQL數(shù)據(jù)到Hive遇到的坑
1.sqoop導(dǎo)入到HDFS
1.1執(zhí)行sqoop job，會(huì)自動(dòng)更新last value
# sqoop 增量導(dǎo)入腳本 bin/sqoop job --create sqoop_hdfs_test02 -- import \ --connect jdbc:mysql://localhost:3306/pactera_test \ --username root \ --password 123456 \ --table student \ --target-dir /user/sqoop/test002/ \ --fields-terminated-by "\t" \ --check-column last_modified \ --incremental lastmodified \ --last-value "2018-12-12 00:03:00" \ --append
說明：--append 參數(shù)是必須的，要不然第二次運(yùn)行job 會(huì)報(bào)錯(cuò)，如下：
至此，sqoop job 已建設(shè)完畢！
2.Hive創(chuàng)建表，并讀取sqoop導(dǎo)入的數(shù)據(jù)
create external table if not exists student_hive (SId int,Sname string ,Sage string,Ssex string , last_modified Timestamp) row format delimited fields terminated by '\t' location 'hdfs://node01:8020/user/sqoop/test002/';
注意：此處hive中時(shí)間的格式為timestamp，設(shè)置為date DB數(shù)據(jù)無法正常加載。
第一次全量加載，整條路線完全OK，hive表可以查詢到數(shù)據(jù)。
-----------------------重點(diǎn)分割線-----------------------
* sqoop lastmodified格式的增量加載，會(huì)將last-value 保存為job執(zhí)行的系統(tǒng)時(shí)間，若測試數(shù)據(jù)庫的check-column 小于當(dāng)前系統(tǒng)時(shí)間（即上一個(gè)job的last-value），則數(shù)據(jù)將不被加載。
如SId=6 就沒有被加載，遂改為今日時(shí)間（2018-12-26 17:05）進(jìn)行數(shù)據(jù)測試，數(shù)據(jù)成功被加載！喲呵！！
總結(jié)：
使用lastmodified格式，進(jìn)行sqoop增量導(dǎo)入時(shí)，
1.注意--append的使用；
2.last-value為job運(yùn)行的系統(tǒng)時(shí)間，在數(shù)據(jù)測試時(shí)，要保證數(shù)據(jù)的準(zhǔn)確，數(shù)據(jù)的自增長。
3.一切皆有定數(shù)，查看資料，準(zhǔn)確定位自己系統(tǒng)遇到的問題
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
MySQL中關(guān)于臨時(shí)表的一些基本使用方法
這篇文章主要介紹了MySQL中關(guān)于臨時(shí)表的一些基本使用方法,是MySQL入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05
這篇文章主要介紹了mysql密碼中有特殊字符&在命令行下登錄的操作，具有很好的參考價(jià)值希望對大家有所幫助。一起跟隨小編過來看看吧2021-02-02
我們大家都知道MySQL 存儲(chǔ)過程是從 MySQL 5.0 開始逐漸增加新的功能,下面這篇文章主要給大家介紹了關(guān)于MySQL存儲(chǔ)過程和函數(shù)的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-04-04
mysql導(dǎo)入sql文件命令和mysql遠(yuǎn)程登陸使用詳解
這篇文章主要介紹了mysql導(dǎo)入sql文件命令和mysql遠(yuǎn)程登陸使用詳解,需要的朋友可以參考下2014-04-04
本文主要介紹了如何在Windows系統(tǒng)中添加MySQL的環(huán)境變量以及如何初始化MySQL,通過添加環(huán)境變量,可以在任意一個(gè)命令提示符中直接調(diào)用MySQL的相關(guān)程序,大大簡化了操作,初始化MySQL時(shí),需要新建一個(gè)配置文件并指定默認(rèn)編碼集和存儲(chǔ)引擎,如果初始化過程中出現(xiàn)錯(cuò)誤2024-11-11
linux安裝兩個(gè)mysql(8.0和5.7),并同時(shí)使用方式
mysql優(yōu)化小技巧之去除重復(fù)項(xiàng)實(shí)現(xiàn)方法分析【百萬級(jí)數(shù)據(jù)】
MySQL延遲關(guān)聯(lián)性能優(yōu)化方法
