快捷導(dǎo)航

Hive導(dǎo)入csv文件示例

更新時(shí)間：2022年06月23日 14:27:36 作者：鴨梨山大哎

這篇文章主要為大家介紹了Hive導(dǎo)入csv文件示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

正文

現(xiàn)有文件為csv格式,需要導(dǎo)入hive中,設(shè)csv內(nèi)容如下

1001,zs,23
1002,lis,24

首先創(chuàng)建表

create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as textfile ;

導(dǎo)入數(shù)據(jù)及查詢

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

其他注意事項(xiàng)

如果建表是parquet格式可否load導(dǎo)入csv文件?

drop table csv2;
create table if not exists csv2(
    uid int,
    uname string,
    age int
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
stored as parquet ;

load data local inpath '/data/csv2.csv' into table csv2;
select * from csv2;

使用時(shí)會(huì)報(bào)錯(cuò)

Failed with exception java.io.IOException:java.lang.RuntimeException: hdfs://192.168.10.101:8020/user/hive/warehouse/csv2/csv2.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [44, 50, 52, 10]

**不可以,需要先導(dǎo)入成textfile,之后再?gòu)呐R時(shí)表導(dǎo)入成parquet,**如下

drop table csv2;
create table if not exists csv2
(
    uid   int,
    uname string,
    age   int
)
    row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
    stored as textfile;
-- 先導(dǎo)入csv文件到表格csv2,保存格式是textfile
load data local inpath '/data/csv2.csv' into table csv2;


drop table csv3;
-- 創(chuàng)建csv3,保存格式parquet
create table if not exists csv3
(
    uid   int,
    uname string,
    age   int
)
    row format delimited
        fields terminated by ','
    stored as parquet;
-- 提取csv2的數(shù)據(jù)插入到csv3
insert overwrite table csv3 select * from csv2;

總結(jié)

關(guān)鍵是要引入org.apache.hadoop.hive.serde2.OpenCSVSerde
csv要保存到hive的parquet,需要先保存成textfile

以上就是Hive導(dǎo)入csv文件示例的詳細(xì)內(nèi)容，更多關(guān)于Hive導(dǎo)入csv文件的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

相關(guān)文章

SQL中日期格式處理方法大全
這篇文章主要給大家介紹了關(guān)于SQL中日期格式處理方法的相關(guān)資料,在SQL中日期格式化非常重要的,因日期SQL中的一個(gè)基數(shù)據(jù)類型,我們可以使用函數(shù)和選項(xiàng)來(lái)格式化日期,使用日期函數(shù)來(lái)處理日期數(shù)據(jù),需要的朋友可以參考下
2023-09-09
sql注入報(bào)錯(cuò)之注入原理實(shí)例解析
所謂報(bào)錯(cuò)注入,就是通過(guò)運(yùn)行SQL查詢語(yǔ)句回顯查詢結(jié)果,下面這篇文章主要給大家介紹了關(guān)于sql注入報(bào)錯(cuò)之注入原理的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
2022-06-06
SQL查詢的底層運(yùn)行原理深入分析
這篇文章主要給大家介紹了關(guān)于SQL查詢的底層運(yùn)行原理，文中通過(guò)實(shí)例代碼結(jié)束的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用SQL具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-08-08
Python使用RethinkDB總結(jié)
最近一個(gè)項(xiàng)目要用到文檔數(shù)據(jù)庫(kù)，順便關(guān)注了一下 NoSQL 方面的消息。當(dāng)前幾個(gè)比較流行的文檔數(shù)據(jù)庫(kù)引擎有 MongoDB, CouchDB, OrientDB 等，朋友推薦的是 MongoDB 和 RethinkDB
2014-03-03
使用Navicat導(dǎo)入和導(dǎo)出sql語(yǔ)句的圖文教程
Navicat是MySQL非常好用的可視化管理工具,功能非常強(qiáng)大,能滿足我們?nèi)粘?shù)據(jù)庫(kù)開發(fā)的所有需求,下面這篇文章主要給大家介紹了關(guān)于使用Navicat導(dǎo)入和導(dǎo)出sql語(yǔ)句的相關(guān)資料,需要的朋友可以參考下
2023-03-03
RBAC簡(jiǎn)介_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理
這篇文章主要介紹了RBAC簡(jiǎn)介，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-08-08
SQL的各種連接Join案例詳解
SQL JOIN 子句用于把來(lái)自兩個(gè)或多個(gè)表的行結(jié)合起來(lái)，基于這些表之間的共同字段，下面就為大家分享一下
2020-09-09
mybatis 項(xiàng)目配置文件實(shí)例詳解
這篇文章主要介紹了mybatis 項(xiàng)目配置文件實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下
2017-03-03
Redis和Memcache的區(qū)別總結(jié)
這篇文章主要介紹了Redis和Memcache的區(qū)別,用三個(gè)總結(jié)來(lái)說(shuō)明Redis和Memcache的區(qū)別,需要的朋友可以參考下
2014-05-05
OceanBase自動(dòng)生成回滾SQL的全過(guò)程(數(shù)據(jù)庫(kù)變更時(shí))
在開發(fā)中,數(shù)據(jù)的變更與維護(hù)工作一般較頻繁,當(dāng)我們執(zhí)行數(shù)據(jù)庫(kù)的DML操作時(shí),必須謹(jǐn)慎考慮變更對(duì)數(shù)據(jù)可能產(chǎn)生的后果,以及變更是否能夠順利執(zhí)行,所以本文給大家介紹了數(shù)據(jù)庫(kù)變更時(shí),OceanBase如何自動(dòng)生成回滾 SQL,需要的朋友可以參考下
2024-04-04