centos6.8下hadoop3.1.1完全分布式安裝指南(推薦)
前述：
這篇文檔是建立在三臺虛擬機(jī)相互ping通，防火墻關(guān)閉，hosts文件修改，SSH 免密碼登錄，主機(jī)名修改等的基礎(chǔ)上開始的。
一．傳入文件
1.創(chuàng)建安裝目錄
mkdir /usr/local/soft
2.打開xftp，找到對應(yīng)目錄，將所需安裝包傳入進(jìn)去
查看安裝包：cd /usr/local/soft
二．安裝JAVA
1.查看是否已安裝jdk： java -version
2.未安裝，解壓java安裝包： tar -zxvf jdk-8u181-linux-x64.tar.gz
（每個(gè)人安裝包可能不一樣，自己參考）
3.給jdk重命名，并查看當(dāng)前位置：mv jdk1.8.0_181 java
4.配置jdk環(huán)境：vim /etc/profile.d/jdk.sh
export JAVA_HOME=/usr/local/soft/java export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
5.更新環(huán)境變量并檢驗(yàn)：source /etc/profile
三．安裝Hadoop
1.解壓hadoop安裝包：tar -zxvf hadoop-3.1.1.tar.gz
2.查看并重命名：mv hadoop-3.1.1 hadoop
3.配置 hadoop 配置文件
3.1修改 core-site.xml 配置文件：vim hadoop/etc/hadoop/core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/soft/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property>
3.2修改 hdfs-site.xml 配置文件：vim hadoop/etc/hadoop/hdfs-site.xml
<property> <name>dfs.namenode.secondary.http-address</name> <value>node1:50090</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/soft/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/soft/hadoop/tmp/dfs/data</value> </property>
3.3修改 workers 配置文件：vim hadoop/etc/hadoop/workers
3.4修改hadoop-env.sh文件：vim hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/soft/java
3.5修改yarn-site.xml文件：vim hadoop/etc/hadoop/yarn-site.xml
<property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
3.6更新配置文件：source hadoop/etc/hadoop/hadoop-env.sh
3.7修改 start-dfs.sh配置文件: im hadoop/sbin/start-dfs.sh
export HDFS_NAMENODE_SECURE_USER=root export HDFS_DATANODE_SECURE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root
3.8修改 stop-dfs.sh配置文件: vim hadoop/sbin/stop-dfs.sh
export HDFS_NAMENODE_SECURE_USER=root export HDFS_DATANODE_SECURE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root
3.9修改 start-yarn.sh配置文件：vim hadoop/sbin/start-yarn.sh
export YARN_RESOURCEMANAGER_USER=root export HADOOP_SECURE_DN_USER=root export YARN_NODEMANAGER_USER=root
3.10修改 stop-yarn.sh配置文件：vim hadoop/sbin/stop-yarn.sh
export YARN_RESOURCEMANAGER_USER=root export HADOOP_SECURE_DN_USER=root export YARN_NODEMANAGER_USER=root
3.11 取消打印警告信息：vim hadoop/etc/hadoop/log4j.properties
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
四．同步配置信息：
1.同步node1：scp -r soft root@node1:/usr/local/
同步node2：scp -r soft root@node2:/usr/local/
2.等待所有傳輸完成，配置profile文件：vim /etc/profile.d/hadoop.sh
#SET HADOOP export HADOOP_HOME=/usr/local/soft/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
3.繼續(xù)傳輸
對node1: scp /etc/profile.d/jdk.sh root@node1:/etc/profile.d/
scp /etc/profile.d/hadoop.sh root@node1:/etc/profile.d/
對node2: scp /etc/profile.d/jdk.sh root@node2:/etc/profile.d/
scp /etc/profile.d/hadoop.sh root@node2:/etc/profile.d/
4.在三臺虛擬機(jī)上都要執(zhí)行
source /etc/profile
source /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh
（只顯示一臺）
5.格式化 HDFS 文件系統(tǒng)：hdfs namenode -format（只在master上）
五．啟動集群
cd /usr/local/soft/hadoop/sbin/
./start-all.sh
啟動后在三臺虛擬機(jī)上分別輸入jps
結(jié)果如下：
windows下谷歌瀏覽器檢驗(yàn)：
http://192.168.204.120:8088/cluster（輸入自己的master的ip地址）
Hadoop測試（MapReduce 執(zhí)行計(jì)算測試）：
hadoop jar/usr/local/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /input /output
查看運(yùn)行結(jié)果：
以上hadoop配置完成。
總結(jié)
以上所述是小編給大家介紹的centos6.8下hadoop3.1.1完全分布式安裝指南，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時(shí)回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
如果你覺得本文對你有幫助，歡迎轉(zhuǎn)載，煩請注明出處，謝謝！
相關(guān)文章
使用Apache?Hudi?加速傳統(tǒng)的批處理模式的方法
這篇文章主要介紹了Apache?Hudi?如何加速傳統(tǒng)的批處理模式,借助Apache Hudi，我們希望在將數(shù)據(jù)攝取到數(shù)據(jù)湖中的同時(shí)，找到更好的重復(fù)數(shù)據(jù)刪除和數(shù)據(jù)版本控制優(yōu)化解決方案，需要的朋友可以參考下2022-04-04
這篇文章主要介紹了linux使用封鎖IP的辦法簡單防御UDP攻擊,需要的朋友可以參考下2015-01-01
這篇文章主要為大家詳細(xì)介紹了CentOS 7安裝配置圖文教程,具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2016-10-10
more 是我們最常用的工具之一，最常用的就是顯示輸出的內(nèi)容，然后根據(jù)窗口的大小進(jìn)行分頁顯示，然后還能提示文件的百分比。本文重點(diǎn)給大家介紹Linux more命令使用方法，感興趣的朋友一起看看吧2018-10-10
電腦意外關(guān)機(jī)后VMware中l(wèi)inux不能聯(lián)網(wǎng)問題的解決方法
這篇文章主要為大家解決電腦意外關(guān)機(jī)后，再次開機(jī)啟動VMware時(shí)發(fā)現(xiàn)linux不能聯(lián)網(wǎng)的問題，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-03-03
在?Kali?Linux?中設(shè)置靜態(tài)?IP?地址是一個(gè)常見的需求,尤其是在進(jìn)行滲透測試或者需要長期穩(wěn)定連接的情況下,本文將指導(dǎo)你如何在?Kali?Linux?中配置靜態(tài)?IP?地址,感興趣的小伙伴跟著小編一起來看看吧2024-12-12
Centos5.4+Nginx-0.8.50+UWSGI-0.9.6.2+Django-1.2.3搭建高性能WEB服務(wù)器
這篇文章主要介紹了Centos5.4+Nginx-0.8.50+UWSGI-0.9.6.2+Django-1.2.3搭建高性能WEB服務(wù)器的相關(guān)資料,需要的朋友可以參考下2016-02-02
CentOS 6/7環(huán)境下通過yum安裝php7的方法
這篇文章主要介紹了CentOS 6/7環(huán)境下通過yum安裝php7的方法,簡單分析了CentOS 6/7服務(wù)器環(huán)境下使用yum安裝php7的相關(guān)命令與操作步驟,需要的朋友可以參考下2018-03-03
下面小編就為大家?guī)硪黄狶INUX啟動/重啟/停上MYSQL的命令(詳解)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2016-11-11
經(jīng)常上網(wǎng)的讀者會遇到這種情況：訪問一些網(wǎng)站的某些資源時(shí)，瀏覽器彈出一個(gè)對話框，要求輸入用戶名和密碼來獲取對資源的訪問。2009-05-05