Mapreduce分布式并行編程
1.什么是并行計算
傳統(tǒng)并行計算：共享同一個數(shù)據(jù)，通過鎖來控制數(shù)據(jù)的讀寫，難度大，容易導致死鎖，拓展性差。但是是實時的，細顆粒度計算，計算密集型
Mapreduce：對機器的要求低，拓展性難，便宜，拓展性強，批處理場景，非實時，數(shù)據(jù)密集型（傻大）
map:分配工作任務給不同的人，并讓其完成工作（工作相互獨立，不互相為上下環(huán)節(jié)）
reduce：把不同的結果集合并 再加上分布式
2.現(xiàn)在mapreduce能做什么？
map：映射
1.如小寫字母變成大寫字母 map
2.把年齡小于16歲的都去掉 map
3.把美元變成人民幣 y=x∗6.3y=x * 6.3y=x∗6.3 map
4.地址庫的一個翻譯：省市縣 map
5.（只要是一些處理數(shù)據(jù)相關的，都應當是在map上）
reduce：做比較，工作整合，上下游
1.統(tǒng)計年薪最高的人 （一個組）key
2.按照男女計算平均年齡 （倆個組）key
3.排序 reduce
有些操作放在map、reduce里面都可以
a-------->a----->A
map--------- reduce ×
前提：盡量要減少數(shù)據(jù)的流動，reduce階段數(shù)據(jù)越少越好，能在map做就在map做掉
數(shù)據(jù)SQL:
Select name ,age,gender from people where id =3
1.project(投射）map完成
Select name ,age,gender
2.filter（過濾）map完成
id=3
3.key(匯集）
如：Select avg(age),gender from peoplemap:age,gender ---project
key:gender(F,M) //分為man和femalereduce:按照key進行匯集 F(25,38,23),M(45,23)
reduce：avg
如：Select max(age),gender from people這里和上面差不多，但是就沒有key了放在同一個地方
oss和hive的區(qū)別？
在文件系統(tǒng)上
實驗部分：
1. 搭建各類環(huán)境
為了模擬真實情況,我這里搭建了分布式的hadoop集群,分別有三臺機器。一臺做master，一臺做slave。
2. 搭建、配置zookeeper
3. 啟動zookeeper
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
4. 安裝配置java
5. 主從節(jié)點格式化
6. 啟動集群
/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh
7. 安裝Scala
8. 啟動spark集群
/usr/spark/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh
9. jps查看已經啟動的
以上就是Mapreduce分布式并行編程的詳細內容，更多關于Mapreduce分布式的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要介紹了JSON,AJAX和Maven基礎，如何使用AJAX讀取Json數(shù)組里面的數(shù)據(jù)，感興趣的小伙伴們可以參考一下，希望能夠幫助到你2021-07-07
這篇文章主要介紹了POI通用導出Excel(.xls,.xlsx)的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-05-05
Java并發(fā)之synchronized實現(xiàn)原理深入理解
這篇文章主要介紹了Java中synchronized實現(xiàn)原理詳解，涉及synchronized實現(xiàn)同步的基礎，Java對象頭，Monitor，Mark Word，鎖優(yōu)化，自旋鎖等相關內容，具有一定借鑒價值，需要的朋友可以參考下2021-08-08
這篇文章主要介紹了Java中的CountDownLatch使用解析,CountDownLatch初始化的時候必須指定一個count,await方法會一直阻塞直到調用countdown方法,count為0,當count為0時,所有的等待線程都會被釋放,需要的朋友可以參考下2023-12-12
這幾天本人了解到了MyBatis-plus,一個 Mybatis 增強工具包.經過一番研究,發(fā)現(xiàn)這玩意真的好用,不用寫任何 xml ,內置通用的 Mapper,而且完全是面向對象編程,文檔給的示例代碼,跟之前用過的 sequelize (Node.js 的 ORM)非常像,因此本人也嘗試了一把, 需要的朋友可以參考下2021-05-05
Java?SSM實現(xiàn)前后端協(xié)議聯(lián)調詳解下篇
首先我們已經知道，在現(xiàn)在流行的“前后端完全分離”架構中，前后端聯(lián)調是一個不可能避免的問題，這篇文章主要介紹了Java?SSM實現(xiàn)前后端協(xié)議聯(lián)調過程2022-08-08
spring使用RedisTemplate操作Redis數(shù)據(jù)庫
這篇文章主要介紹了spring使用RedisTemplate操作Redis數(shù)據(jù)庫，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
springboot + mybatis-plus實現(xiàn)多表聯(lián)合查詢功能(注解方式)
這篇文章主要介紹了springboot + mybatis-plus實現(xiàn)多表聯(lián)合查詢功能，是最簡單的一種注解方式，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-09-09
這篇文章主要介紹了淺談Spring的屬性編輯器的使用，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-05-05
java.net.UnknownHostException異常的一般原因及解決步驟
關于java.net.UnknownHostException大家也許都比較熟悉,這篇文章主要給大家介紹了關于java.net.UnknownHostException異常的一般原因及解決步驟,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2024-02-02