python處理數(shù)據(jù),存進(jìn)hive表的方法
首先，公司的小組長給了我一個(gè)任務(wù)，把一個(gè)txt的文件中的部分內(nèi)容，存進(jìn)一個(gè)在hive中已有的表的相同結(jié)構(gòu)的表中。所以我的流程主要有三個(gè)，首先，把數(shù)據(jù)處理成和hive中表相同結(jié)構(gòu)的數(shù)據(jù)，然后仿照已有的hive中表的結(jié)構(gòu)再創(chuàng)建一張新的數(shù)據(jù)表，最后把本地的txt文件上傳到hive中新建的數(shù)據(jù)表中。
1：已有的數(shù)據(jù)表的結(jié)構(gòu)和在hive表中的結(jié)構(gòu)完全對(duì)不上，下面的圖是原來hive中表的結(jié)構(gòu)和小組長給我的txt中表的結(jié)構(gòu)：
大家可以看出，我們?cè)瓉淼膆ive中表的字段一共有17個(gè)，而組長給我的表中的字段一共有9個(gè)，其中最后一個(gè)為json結(jié)構(gòu)，而且順序還不對(duì)，所以我們要進(jìn)行篩選，把對(duì)應(yīng)上的字段放到相應(yīng)位置，對(duì)應(yīng)不上的字段寫成空。
大家要注意幾個(gè)地方，原來的數(shù)據(jù)是按照tab來劃分的，所以我們要數(shù)好對(duì)應(yīng)的tab的數(shù)目，好來計(jì)算出來數(shù)據(jù)的實(shí)際的位置信息，然后我們按照原來hive表中的數(shù)據(jù)順序，重新排列我們新建表的數(shù)據(jù)的順序，下面給大家看看結(jié)果：
其中l(wèi)ine[0]=null，line[1]=102，大家以此類推。
3：我們把本地的txt文件導(dǎo)入到hive表中。首先我們要新建一個(gè)和原來hive表中相同結(jié)構(gòu)的數(shù)據(jù)表，然后把我們的數(shù)據(jù)導(dǎo)入到表中，
hive> creat table new_sft(x1 string,x2 string ,...,xn string) partitioned by (d string);
建好表之后，把數(shù)據(jù)導(dǎo)入到新表之中:
hive> load data local inpath‘/home/opendev/1.txt' into table new_sft;
最后給大家看看我的最終的結(jié)果：
以上這篇python處理數(shù)據(jù),存進(jìn)hive表的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python opencv根據(jù)顏色進(jìn)行目標(biāo)檢測(cè)的方法示例
這篇文章主要介紹了python opencv根據(jù)顏色進(jìn)行目標(biāo)檢測(cè)的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
Python實(shí)現(xiàn)簡易凱撒密碼的示例代碼
密碼的使用最早可以追溯到古羅馬時(shí)期，《高盧戰(zhàn)記》有描述愷撒曾經(jīng)使用密碼來傳遞信息，即所謂的“愷撒密碼”。本文將利用Python實(shí)現(xiàn)簡易的凱撒密碼，感興趣的可以了解一下2022-09-09
基于Python實(shí)現(xiàn)船舶的MMSI的獲取(推薦)
工作中遇到一個(gè)需求，需要通過網(wǎng)站查詢船舶名稱得到MMSI碼，網(wǎng)站來自船訊網(wǎng)。這篇文章主要介紹了基于Python實(shí)現(xiàn)船舶的MMSI的獲取,需要的朋友可以參考下2019-10-10
這篇文章主要介紹了Python 中判斷列表是否為空的方法，本文通過代碼詳解的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-11-11
使用python查找替換PowerPoint演示文稿中的文本
演示文稿已成為商務(wù)會(huì)議、學(xué)術(shù)報(bào)告和教育培訓(xùn)中不可或缺的一部分,而PowerPoint演示文稿作為行業(yè)標(biāo)準(zhǔn)工具,更是承載著無數(shù)創(chuàng)意與信息的載體,本文將介紹如何使用Python來精確查找并替換PowerPoint演示文稿中的文本,需要的朋友可以參考下2024-07-07
這篇文章主要介紹了Python Selenium參數(shù)配置方法解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-01-01
PIL是一個(gè)用于圖像處理的Python庫,它提供了各種功能,包括加載、保存、編輯和處理圖像,你可以使用PIL庫進(jìn)行圖像縮放、裁剪、旋轉(zhuǎn)、濾鏡應(yīng)用等操作,本文將介紹如何使用Python的PIL庫給圖像進(jìn)行過濾,需要的朋友可以參考下2023-08-08
利用Python找出序列中出現(xiàn)最多的元素示例代碼
這篇文章主要給大家介紹了關(guān)于利用Python找出序列中出現(xiàn)最多的元素的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-12-12
這篇文章主要介紹了Numpy中的shape函數(shù)的用法詳解，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
這篇文章主要介紹了從Python程序中訪問Java類的簡單示例,包括給出了在安卓開發(fā)中的一個(gè)短小示例,需要的朋友可以參考下2015-04-04