Linux下Hadoop?2.7.3?安裝搭建過(guò)程
Linux Hadoop 2.7.3 安裝搭建
Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。
HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。
Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。
Hadoop解決哪些問(wèn)題？
海量數(shù)據(jù)需要及時(shí)分析和處理
海量數(shù)據(jù)需要深入分析和挖掘
數(shù)據(jù)需要長(zhǎng)期保存
海量數(shù)據(jù)存儲(chǔ)的問(wèn)題：
磁盤IO稱為一種瓶頸，而非CPU資源
網(wǎng)絡(luò)帶寬是一種稀缺資源
硬件故障成為影響穩(wěn)定的一大因素
安裝流程
安裝JAVA 1.8
下載：
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Java 環(huán)境安裝配置 /etc/profile：
export JAVA_HOME=/usr/jdk/jdk1.8.0_112 export JRE_HOME=/usr/jdk/jdk1.8.0_112/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$PATH
安裝Hadoop2.7.3
下載：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/
配置啟動(dòng)Hadoop
1、修改hadoop 2.7.3/etc/hadoop/hadoop-env.sh 指定JAVA_HOME
# The java implementation to use. export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el6_9.x86_64
2、修改hdfs的配置文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)路徑 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop</value>
</property>
</configuration>
3、啟動(dòng)
第一次啟動(dòng)得先格式化
/usr/hadoop/bin/hdfs namenode -format
啟動(dòng)hdfs
/usr/hadoop/sbin/start-dfs.sh
用jps命令查看啟動(dòng)的Java進(jìn)程
預(yù)覽地址：http://127.0.0.1:50070/dfshealth.html
4、停止
/usr/hadoop/sbin/stop-dfs.sh
到此這篇關(guān)于Linux Hadoop 2.7.3 安裝搭建的文章就介紹到這了,更多相關(guān)Linux Hadoop安裝搭建內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Springboot實(shí)現(xiàn)Activemq死信隊(duì)列詳解
這篇文章主要介紹了Springboot實(shí)現(xiàn)Activemq死信隊(duì)列詳解,Activemq服務(wù)端配置重新投遞次數(shù)超過(guò)?MaximumRedeliveries?,則會(huì)進(jìn)入死信隊(duì)列,默認(rèn)情況,有一個(gè)死信隊(duì)列：AcitveMQ.DLQ,所有的消息都投遞到此隊(duì)列,包括過(guò)期消息,重投遞失敗消息,需要的朋友可以參考下2023-12-12
關(guān)于springboot使用rocketmq?RocketMQMessageListener參數(shù)問(wèn)題
這篇文章主要介紹了springboot使用rocketmq?RocketMQMessageListener參數(shù)問(wèn)題，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值需要的朋友可以參考下2022-11-11
IDEA集成DeepSeek的詳細(xì)教程(保姆級(jí)教程)
DeepSeek作為一款強(qiáng)大的代碼搜索和分析工具,能夠幫助開(kāi)發(fā)者快速定位代碼、理解項(xiàng)目結(jié)構(gòu)以及優(yōu)化代碼質(zhì)量,本文將詳細(xì)介紹如何在IntelliJ?IDEA中集成DeepSeek,并展示如何利用它來(lái)提升開(kāi)發(fā)效率,感興趣的朋友一起看看吧2025-02-02
這篇文章主要介紹了Spring中的retry重試組件詳解,Retry重試組件是一個(gè)處理重試邏輯的工具,可以在出現(xiàn)異?；蚴∏闆r下自動(dòng)進(jìn)行重試操作,從而提高程序的穩(wěn)定性和可靠性,需要的朋友可以參考下2023-10-10
JAVA 16位ID生成工具類含16位不重復(fù)的隨機(jī)數(shù)數(shù)字+大小寫
這篇文章主要介紹了JAVA 16位ID生成工具類含16位不重復(fù)的隨機(jī)數(shù)數(shù)字+大小寫，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Spring中@Value注解獲取不到配置值問(wèn)題及解決
這篇文章主要介紹了Spring中@Value注解獲取不到配置值問(wèn)題及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09
今天小編就為大家分享一篇關(guān)于JVM:早期(編譯期)優(yōu)化的深入理解，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-02-02
這篇文章主要介紹了IDEA如何顯示類的所有方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-03-03
記一次springboot配置redis項(xiàng)目啟動(dòng)時(shí)的一個(gè)奇怪的錯(cuò)誤
這篇文章主要介紹了spring?boot配置redis項(xiàng)目啟動(dòng)時(shí)的一個(gè)奇怪的錯(cuò)誤，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-02-02
我們?cè)陂_(kāi)發(fā)過(guò)程中經(jīng)常會(huì)遇到前后端分離而導(dǎo)致的跨域問(wèn)題,導(dǎo)致無(wú)法獲取返回結(jié)果,下面給大家介紹Java中解決跨域問(wèn)題的方法匯總,感興趣的朋友跟隨小編一起看看吧2024-04-04