解決sqoop從postgresql拉數(shù)據(jù),報錯TCP/IP連接的問題
問題：
sqoop從postgresql拉數(shù)據(jù)，在執(zhí)行到mapreduce時報錯Connection refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections
問題定位過程：
1、postgresql 5432端口已開放，執(zhí)行任務(wù)的節(jié)點能telnet通，并且netcat測試通過
2、sqoop list-tables命令可正常執(zhí)行，sqoop import報錯Connection refused. Check that the hostname and port are correct and that the
3、從其它服務(wù)器集群跑同樣腳本正常
解決：
集群中有node不能訪問5432，sqoop import命令一定要集群中所有起nodemanager服務(wù)的節(jié)點有訪問數(shù)據(jù)庫端口的權(quán)限，所以保證所有節(jié)點訪問5432后解決
備注：
sqoop list-tables能執(zhí)行就說明肯定不是postgresql端的問題，sqoop list-tables執(zhí)行命令的這臺服務(wù)器能訪問5432即可
補充：使用Sqoop從PostgreSQL向Hive中遷移數(shù)據(jù)遇到的問題
postgreSQL的界面
跟mysql不同之處就是，多了一個 2 ，這也是導(dǎo)致數(shù)據(jù)遷移錯誤原因
1.數(shù)據(jù)庫名稱 2.schema 3.表名
PostgreSQL中的對象屬于三層模型，即database->schema->table。PostgreSQL中一般包含多個database，每個database包含多個schema，schema下包含多個表。因此使用sqoop抽取數(shù)據(jù)時有時需要指定表是屬于哪個schema。
解決方案：
在代碼最后指定--schema
-- --schema 上圖2的名稱
整個代碼如下
./sqoop import --connect jdbc:postgresql://***.***.***.***:38888/bigdata --username test --password test123 --table tb_ecar_gps_zhengzhou_standard --fields-terminated-by '\t' -m 1 --target-dir '/sqoop/postgresql123' -- --schema benchmark_data;
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
這篇文章主要介紹了PostgreSQL的中文拼音排序案例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01
這篇文章主要介紹了Postgresql 解決pg掉電后無法重啟的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01
PostgreSQL?流復(fù)制配置環(huán)境搭建過程
PostgreSQL 流復(fù)制是 9.0 提供的一種新的 WAL 傳遞方法，使用流復(fù)制時，每當(dāng) Primary 節(jié)點 WAL 產(chǎn)生，就會馬上傳遞到 Standby 節(jié)點，流復(fù)制提供異步和同步兩種模式，同步模式可以保障數(shù)據(jù) 0 丟失，這篇文章主要介紹了PostgreSQL?流復(fù)制搭建,需要的朋友可以參考下2023-09-09
CentOS PostgreSQL 12 主從復(fù)制(主從切換)操作
這篇文章主要介紹了CentOS PostgreSQL 12 主從復(fù)制(主從切換)操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01
PostgreSQL由于WAL日志的機制,導(dǎo)致其在不正確配置的情況下會出現(xiàn)磁盤空間暴漲的情況,本文檔就此情景寫一般處理辦法,感興趣的小伙伴跟著小編一起來看看吧2024-12-12
PostgreSQL有效地處理數(shù)據(jù)的加密和解密的常見方法
在信息化建設(shè)和等保建設(shè)中,都要求實現(xiàn)對用戶數(shù)據(jù)的隱私保護,也就是我們常說的脫敏,那么在?PostgreSQL?數(shù)據(jù)庫中有沒有這樣的方法或者策略可以實現(xiàn)呢,本文小編將給大家介紹一下PostgreSQL有效地處理數(shù)據(jù)的加密和解密的常見方法,需要的朋友可以參考下2025-03-03
PostgreSQL中實現(xiàn)數(shù)據(jù)實時監(jiān)控和預(yù)警的步驟詳解
在 PostgreSQL 中實現(xiàn)數(shù)據(jù)的實時監(jiān)控和預(yù)警是確保數(shù)據(jù)庫性能和數(shù)據(jù)完整性的關(guān)鍵任務(wù),以下將詳細(xì)討論如何實現(xiàn)此目標(biāo),并提供相應(yīng)的解決方案和具體示例,需要的朋友可以參考下2024-07-07
這篇文章主要介紹了PostgreSQL完成按月累加的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01
淺談postgresql數(shù)據(jù)庫varchar、char、text的比較
這篇文章主要介紹了淺談postgresql數(shù)據(jù)庫varchar、char、text的比較，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12
這篇文章主要介紹了修改postgresql存儲目錄的操作方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-01-01