使用Python構(gòu)造hive insert語(yǔ)句說(shuō)明
mysql可以使用nevicat導(dǎo)出insert語(yǔ)句用于數(shù)據(jù)構(gòu)造，但是hive無(wú)法直接導(dǎo)出insert語(yǔ)句。我們可以先打印在hive命令行，然后使用腳本拼裝成insert語(yǔ)句，進(jìn)行數(shù)據(jù)構(gòu)造。
手動(dòng)copy到python腳本進(jìn)行sql語(yǔ)句構(gòu)造：
def transformString(s): list_s = s.split('\t') print(len(list_s)) s_new = '' for item in list_s: s_new += '\"' + item.strip(' ') + '\"' + ',' return str(s_new.rstrip(','))# 為手動(dòng)copy hive命令行打印輸出的記錄s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = \'2019-03-18\') values({});'.format(s_new)print(sql)結(jié)果：
insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");
補(bǔ)充知識(shí)：python向hive插入數(shù)據(jù)遇到的坑
因項(xiàng)目需求，應(yīng)用python建模需要通過(guò)hive取數(shù)，并將結(jié)果寫(xiě)入hive表。
嘗試了以下幾條坑爹路，僅做記錄如下：
通過(guò)impyla庫(kù)搭建hive與python橋梁
1.1 環(huán)境配置的坑（回頭放連接）
注: 遠(yuǎn)程訪問(wèn)hive一定要記得配置賬號(hào)密碼?。?！報(bào)錯(cuò)：。。。-4.。。
1.2 一定不要用impyla中的executemany去批量插入數(shù)據(jù)，也不要用其他的方式向hive插入數(shù)據(jù)，都是坑！奇慢無(wú)比！找資料也都是說(shuō)不建議這么做。
長(zhǎng)途跋涉hdfs法
2.1 先用python的pyhdfs庫(kù)將結(jié)果寫(xiě)成hdfs文件，然后。。。尼瑪?。「緵](méi)成功連上服務(wù)器的hdfs，本地hdfs到是可以的
2.2 那既然寫(xiě)hdfs，我就直接將模型結(jié)果通過(guò)hadoop/hdfs命令上傳至hdfs。然后， 通過(guò)hive命令load data將hdfs中的結(jié)果再導(dǎo)入hive。雖然有點(diǎn)繞，但是成功了！??！BUT?。?！小兄弟，這個(gè)直接操作HDFS風(fēng)險(xiǎn)太高了，要不你還是另尋他法吧，不可以拒絕哦?。?！
2.3 好吧，根據(jù)建議，使用kafka，抱歉這個(gè)坑后面再來(lái)踩。
2.4 臨時(shí)處理方案：先將結(jié)果寫(xiě)入mysql，再轉(zhuǎn)入hive，這個(gè)沒(méi)有坑，具體我也只是寫(xiě)到mysql，無(wú)坑。。就是有點(diǎn)繞。。。
以上這篇使用Python構(gòu)造hive insert語(yǔ)句說(shuō)明就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- 在python中使用pyspark讀寫(xiě)Hive數(shù)據(jù)操作
- python 實(shí)現(xiàn) hive中類似 lateral view explode的功能示例
- Python pandas 列轉(zhuǎn)行操作詳解(類似hive中explode方法)
- python 操作hive pyhs2方式
- 如何在python中寫(xiě)hive腳本
- python處理數(shù)據(jù),存進(jìn)hive表的方法
- python導(dǎo)出hive數(shù)據(jù)表的schema實(shí)例代碼
- Python讀取Hive數(shù)據(jù)庫(kù)實(shí)現(xiàn)代碼詳解
相關(guān)文章
咳咳，又是一款新的小游戲，就是大家熟悉的王者~本文將利用python來(lái)實(shí)現(xiàn)高（di）配版的王者的小游戲，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-03-03
Python 3.3實(shí)現(xiàn)計(jì)算兩個(gè)日期間隔秒數(shù)/天數(shù)的方法示例
這篇文章主要介紹了Python 3.3實(shí)現(xiàn)計(jì)算兩個(gè)日期間隔秒數(shù)/天數(shù)的方法,結(jié)合實(shí)例形式較為詳細(xì)的分析了基于Python3.3的日期時(shí)間轉(zhuǎn)換與運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2019-01-01
Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲(chóng)功能示例
這篇文章主要介紹了Python基于BeautifulSoup和requests實(shí)現(xiàn)的爬蟲(chóng)功能,結(jié)合實(shí)例形式分析了Python使用BeautifulSoup和requests庫(kù)爬取網(wǎng)站指定信息的相關(guān)操作技巧,需要的朋友可以參考下2019-08-08
Python 基于FIR實(shí)現(xiàn)Hilbert濾波器求信號(hào)包絡(luò)詳解
今天小編就為大家分享一篇Python 基于FIR實(shí)現(xiàn)Hilbert濾波器求信號(hào)包絡(luò)詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
這篇文章主要介紹了詳解Python import方法引入模塊的實(shí)例的相關(guān)資料,在Python用import或者from…import或者from…import…as…來(lái)導(dǎo)入相應(yīng)的模塊，需要的朋友可以參考下2017-08-08
用python3讀取python2的pickle數(shù)據(jù)方式
今天小編就為大家分享一篇用python3讀取python2的pickle數(shù)據(jù)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
python實(shí)現(xiàn)進(jìn)度條的多種實(shí)現(xiàn)
這篇文章主要介紹了python實(shí)現(xiàn)進(jìn)度條的多種實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
卡爾曼濾波數(shù)據(jù)處理技巧通俗理解及python實(shí)現(xiàn)
這篇文章主要為大家介紹了卡爾曼濾波數(shù)據(jù)處理技巧的通俗理解及python實(shí)現(xiàn)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
這篇文章主要介紹了Numpy中對(duì)向量、矩陣的使用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
在PS中，我們可以利用液化工具對(duì)人像進(jìn)行瘦臉、放大眼睛等系列的常規(guī)操作。今天我們來(lái)了解一下這些操作的算法原理，并用pytorch?膨脹算法來(lái)實(shí)現(xiàn)大眼效果，感興趣的可以了解一下2021-11-11