Python使用MapReduce編程模型統(tǒng)計銷量

更新時間：2022年04月22日 09:04:28 作者：SAP劍客

MapReduce是面向大數(shù)據(jù)并行處理的計算模型、框架和平臺，是一種計算引擎，可以把我們對大批量數(shù)據(jù)的計算通過抽象成map與reduce兩個子任務進行計算從而更快的得到想要的結果

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。當前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（歸約）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

下面就通過手動實現(xiàn)MapReduce編碼統(tǒng)計銷售數(shù)量的例子來模擬。

打開Python3在線編程網(wǎng)址：

http://www.dooccn.com/python3/

1、生成模擬數(shù)據(jù)

#!/usr/bin/python
# -*- coding: utf-8 -*-
import random
# 模擬商品
stocks = ["HUAWEI Mate40","Apple iphone13","Apple MacBook Pro 14","ThinkBook 14p","RedmiBook Pro14","飛鶴星飛帆幼兒奶粉","愛他美 幼兒奶粉","李寧運動男衛(wèi)褲","小米踏步機橢圓機","歐萊雅面膜","御泥坊面膜","歐萊雅男士套裝","金六福白酒","牛欄山42度","茅臺飛天"]
# 銷售訂單
sales_list = list()
# 生成100個買家訂單，每個訂單三個商品
for i in range(100):
    sstocks = list()
    for j in range(3):
        sstocks.append(stocks[random.randint(0,14)])
    a = "買家" + str(i+1) + ":" + ",".join(sstocks)
    print(a)

2、mapper實現(xiàn)

將第一步的結果作為第二步的輸入。

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
#從控制臺中讀取數(shù)據(jù)，循環(huán)發(fā)送每行數(shù)據(jù)
for line in sys.stdin:
    #對訂單進行拆分
    orders = line.strip().split(":")
    if len(orders) == 2:
        #對訂單中的商品進行拆分
        stocks = orders[1].split(",")
        for stock in stocks:
            #將每一個商品作為key,value進行輸出
            print('%s,%s' % (stock,1))

3、reducer實現(xiàn)

將第二步的結果作為第三步的輸入。

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
# 創(chuàng)建一個空的字典用來每一個商品的銷售數(shù)據(jù)
stock_dict = dict()
for line in sys.stdin:
    if len(line.strip()) >= 1:
        # 拆分每一行的商品，銷量
        stock, sales = line.split(',')
        # 判斷當前商品是否在字典中有存放
        if stock in stock_dict:
            # 如果有，把字典中的商品和銷量取出來，追加當前銷量再放入
            stock_dict[stock] = stock_dict[stock] + int(sales)
        else:
            # 如果沒有，直接把商品和銷量數(shù)據(jù)放入字典中
            stock_dict[stock] = int(sales)
# 遍歷字典列表，獲取每一個商品的銷量
for stock, sales in stock_dict.items():
    print('%s\t%s' % (stock, sales))