shell命令執(zhí)行hive腳本(hive交互)

更新時間：2022年02月25日 15:18:18 作者：longshenlmj

本文主要介紹了shell命令執(zhí)行hive腳本(hive交互)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下

Hive執(zhí)行方式

Hive的hql命令執(zhí)行方式有三種：

1、CLI 方式直接執(zhí)行
2、作為字符串通過shell調(diào)用hive –e執(zhí)行（-S開啟靜默，去掉”OK”，”Time taken”）
3、作為獨立文件，通過shell調(diào)用 hive –f或hive –i執(zhí)行執(zhí)行

方式1

鍵入“hive”，啟動hive的cli交互模式。Set可以查看所有環(huán)境設置參數(shù)，并可以重設。其他命令如，
    Use database        選擇庫
    quit/exit   退出Hive的交互模式 
    set –v  顯示Hive中的所有變量
    set <key>=<value>       設置參數(shù)
    執(zhí)行本地shell ：!<cmd>       交互模式下可執(zhí)行shell命令，例如（查看linux根目錄下文件列表："!ls -l /;"）
    操作云命令：dfs < command>        交互模式下直接操作hadoop命令如 dfs fs –ls
    Hql語句       執(zhí)行查詢并輸出到標準輸出
    add [FILE|JAR|ARCHIVE] <value> [<value>]*       增加一個文件到資源列表
    list FILE       列出所有已經(jīng)添加的資源

方式二

Hql作為字符串在shell腳本中執(zhí)行，如
    hive -e "use ${database};select * from tb"
查詢結(jié)果可以直接導出到本地本件（默認分隔符為\t）:
    hive -e "select * from tb" > tb.txt

如果需要查看執(zhí)行步驟，則在命令前面添加

set –x

另外，在shell腳本中，字符串有兩種定義方式:

1) 直接定義字符串對象：sql=”字符串”

2) 通過命令定義：sql=$(cat <<endtag 字符串endtag)方式可以將字符串復制給sql，執(zhí)行hql命令的shell腳本如下：

####### execute hive ######
sql=$(cat <<!EOF

USE pmp;
set mapred.queue.names=queue3;

drop table if exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
? cnt bigint
);

INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'?
select special_tag_id,count(1)?
from t_pmp_special_user_tags
group by special_tag_id;

!EOF)
############ ?execute begin ? ###########
echo $sql
$HIVE_HOME/bin/hive -e "$sql"

exitCode=$?
if [ $exitCode -ne 0 ];then
? ? ? ? ?echo "[ERROR] hive execute failed!"
? ? ? ? ?exit $exitCode
fi

方式三

將hql語句保存為獨立文件，后綴名不限制，可以用.q或者.hql作為標識：
A，這個文件在cli模式下，用source命令執(zhí)行，如：source ./mytest.hql
B，在shell中執(zhí)行命令，如：hive -f mytest.sql

Hive指定預執(zhí)行文件命令“hive –i”（或叫初始化文件）

命令：hive -i hive-script.sql
在hive啟動cli之前，先執(zhí)行指定文件（hive-script.sql）中的命令。
也就是說，允許用戶在cli啟動時預先執(zhí)行一個指定文件，比如，有一些常用的環(huán)境參數(shù)設置，頻繁執(zhí)行的命令，可以添加在初始化文件中，比如，
    某些參數(shù)設置
        set mapred.queue.names=queue3;
        SET mapred.reduce.tasks=14;
    添加udf文件
        add JAR ./playdata-hive-udf.jar;
    設置Hive的日志級別 
        hive -hiveconf hive.root.logger=INFO;

到此這篇關于shell命令執(zhí)行hive腳本(hive交互)的文章就介紹到這了,更多相關shell命令執(zhí)行hive內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: