快捷導(dǎo)航

Hadoop Combiner使用方法詳解

更新時間：2017年10月25日 10:16:34 作者：csguo007

這篇文章主要介紹了 Hadoop Combiner使用方法詳解的相關(guān)資料,希望通過本文能幫助到大家讓大家理解掌握這部分內(nèi)容，需要的朋友可以參考下

Hadoop Combiner使用方法詳解

Combiner函數(shù)是一個可選的中間函數(shù)，發(fā)生在Map階段，Mapper執(zhí)行完成后立即執(zhí)行。使用Combiner有如下兩個優(yōu)勢：

Combiner可以用來減少發(fā)送到Reducer的數(shù)據(jù)量，從而提高網(wǎng)絡(luò)效率。
Combiner可以用于減少發(fā)送到Reducer的數(shù)據(jù)量，這將提高Reduce端的效率，因為每個reduce函數(shù)將處理相對較少記錄，相比于未使用Combiner之前。

Combiner與Reducer結(jié)構(gòu)相同，因為Combiner和Reducer都對Mapper的輸出進(jìn)行處理。這給了我們一個復(fù)用Reducer作為Combiner的好機(jī)會。但問題是，復(fù)用Reducer作為Combiner總是是一個好主意嗎？

特點：

Combiners是MapReduce中的一個優(yōu)化，允許在shuffle和排序階段之前在本地進(jìn)行聚合。Combiners的首要目標(biāo)是通過最小化鍵值對的數(shù)量來節(jié)省盡可能多的帶寬

Reducer作為Combiner的適用場景

假設(shè)我們正在編寫一個MapReduce程序來計算股票數(shù)據(jù)集中每個股票代碼的最大收盤價。Mapper將數(shù)據(jù)集中每個股票記錄的股票代碼作為key和收盤價作為value。Reducer然后將循環(huán)遍歷股票代碼對應(yīng)的所有收盤價，并從收盤價列表中計算最高收盤價。假設(shè)Mapper 1 處理股票代碼為ABC 的3個記錄，收盤價分別為50，60和111。讓我們假設(shè)Mapper 2 處理股票代碼為ABC的2個記錄，收盤價分別為100和31。那么Reducer將收到股票代碼ABC五個收盤價---50，60，111，100和31。Reducer的工作非常簡單，它將簡單地循環(huán)遍歷所有收盤價，并將計算最高收盤價為111。

我們可以在每個Mapper之后使用相同的Reducer作為Combiner。Mapper 1 上的Combiner將處理3個收盤價格--50，60和111，并且僅輸出111，因為它是3個收盤價的最大值。Mapper 2 上的Combiner將處理2個收盤價格--100和31，并且僅輸出100，因為它是2個收盤價的最大值?，F(xiàn)在使用Combiner之后，Reducer僅處理股票代碼ABC的2個收盤價（原先需要處理5個收盤價），即來自Mapper 1 的111和來自Mapper 2 的100，并且將從這兩個值中計算出最大收盤價格為111。

正如我們看到的，使用Combiner情況下Reducer輸出與沒有使用Combiner的輸出結(jié)果是相同的，因此在這種情況下復(fù)用Reducer作為

Combiner是沒有問題。

Reducer作為Combiner的不適用場景

假設(shè)我們正在編寫一個MapReduce程序來計算股票數(shù)據(jù)集中每個股票代碼的平均交易量（average volume for each symbol）。Mapper將數(shù)據(jù)集中每個股票記錄的股票代碼作為key和交易量（volume）作為value。Reducer然后將循環(huán)遍歷股票代碼對應(yīng)的所有交易量，并從交易量列表中計算出平均交易量（average volume from the list of volumes for that symbol）。假設(shè)Mapper 1 處理股票代碼為ABC 的3個記錄，收盤價分別為50，60和111。讓我們假設(shè)Mapper 2 處理股票代碼為ABC的2個記錄，收盤價分別為100和31。那么Reducer將收到股票代碼ABC五個收盤價---50，60，111，100和31。Reducer的工作非常簡單，它將簡單地循環(huán)遍歷所有交易量，并將計算出平均交易量為70.4。

50 + 60 + 111 + 100 + 31 / 5 = 352 / 5 = 70.4

讓我們看看如果我們在每個Mapper之后復(fù)用Reducer作為Combiner會發(fā)生什么。Mapper 1 上的Combiner將處理3個交易量--50，60和111，并計算出三個交易量的平均交易量為73.66。

Mapper 2 上的Combiner將處理2個交易量--100和31，并計算出兩個交易量的平均交易量為65.5。那么在復(fù)用Reducer作為Combiner的情況下，Reducer僅處理股票代碼ABC的2個平均交易量，來自Mapper1的73.66 和來自Mapper2的65.5，并計算股票代碼ABC最終的平均交易量為69.58。