首先要知道Hive和HBase兩者的區(qū)別，我們必須要知道兩者的作用和在大數(shù)據(jù)中扮演的角色

概念

Hive

1.Hive是hadoop數(shù)據(jù)倉庫管理工具，嚴格來說，不是數(shù)據(jù)庫，本身是不存儲數(shù)據(jù)和處理數(shù)據(jù)的，其依賴于HDFS存儲數(shù)據(jù)，依賴于MapReducer進行數(shù)據(jù)處理。

2.Hive的優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句（HSQL）快速實現(xiàn)簡單的MR任務(wù)，不必開發(fā)專門的MR程序。

3.由于Hive是依賴于MapReducer處理數(shù)據(jù)的，因此有很高的延遲性，不適用于實時數(shù)據(jù)處理（數(shù)據(jù)查詢，數(shù)據(jù)插入，數(shù)據(jù)分析），適用于離線數(shù)據(jù)的批處理。

HBase

1.HBase是一種分布式、可擴展、支持海量數(shù)據(jù)存儲的NOSQL數(shù)據(jù)庫

2.HBase主要適用于海量數(shù)據(jù)的實時數(shù)據(jù)處理（隨機讀寫）

3.由于HDFS不支持隨機讀寫，而HBase正是為此而誕生的，彌補了HDFS的不可隨機讀寫。

共同點

hbase與hive都是架構(gòu)在hadoop之上的。都是用HDFS作為底層存儲。

區(qū)別

1.Hive是建立在Hadoop之上為了減少MapReduce jobs編寫工作的批處理系統(tǒng)，HBase是為了支持彌補Hadoop對實時操作的缺陷的項目 。總的來說，hive是適用于離線數(shù)據(jù)的批處理，hbase是適用于實時數(shù)據(jù)的處理。

2.Hive本身不存儲和計算數(shù)據(jù)，它完全依賴于HDFS存儲數(shù)據(jù)和MapReduce處理數(shù)據(jù)，Hive中的表純邏輯。

3.hbase是物理表，不是邏輯表，提供一個超大的內(nèi)存hash表，搜索引擎通過它來存儲索引，方便查詢操作。

4.由于HDFS的不可隨機讀寫，hive是不支持隨機寫操作，而hbase支持隨機寫入操作。

5.HBase只支持簡單的鍵查詢，不支持復(fù)雜的條件查詢

關(guān)系

在大數(shù)據(jù)架構(gòu)中，Hive和HBase是協(xié)作關(guān)系，這里就舉例一種常用的協(xié)作關(guān)系，

具體流程如下圖：

流程：

1.Hive創(chuàng)建一張外部表與HBase表關(guān)聯(lián)，因此只需對Hive表進行查詢即可，Hive表會自動從關(guān)聯(lián)的HBase表中獲取數(shù)據(jù)

2.采集的數(shù)據(jù)保存到HBase表，因為HBase表支持隨機寫操作，這個可以根據(jù)業(yè)務(wù)需求決定

3.Hive通過HSQ語句創(chuàng)建MR任務(wù)去處理分析數(shù)據(jù)

3.MR將分析的結(jié)果最終存儲到常用的數(shù)據(jù)庫（Mysql數(shù)據(jù)庫）

4.web端從數(shù)據(jù)庫獲取數(shù)據(jù)進行可視化

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論