Hadoop3.2.0集群搭建常見注意事項(xiàng)
一 端口變化
3.2.0版本中namenode頁(yè)面端口是9870,datanode管理端口是8088,所以需要開放這兩個(gè)端口還給web頁(yè)面訪問
二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation
hadoop-env.sh中不光需要配置java-home,還需要聲明下面這些用戶變量,不然無法啟動(dòng):
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
三 3.2.0版本mapred-site.xml 文件配置需要加mapreduce.application.classpath屬性
<property> <name>mapreduce.application.classpath</name> <value> /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/* </value> </property>
四 salave文件編程workers文件了,內(nèi)容配置是一樣的
五 啟動(dòng)成功不報(bào)錯(cuò),但最蛋疼的Live Nodes為0問題
解決步驟:
一 先查看datanode 日志:
如果出現(xiàn)這個(gè)說明連接配置有問題,查看core-site.xml配置,這個(gè)是配置datanode和namnode通信的:
一看
這里配置的連接地址有問題
hdfs應(yīng)該配置成namnode的地址,不能配置成datanode的地址,所有節(jié)點(diǎn)都一樣,這個(gè)地址,配置完成重啟成功
網(wǎng)上還有說/etc/hots解析不成功的,這個(gè)也是一個(gè)原因,配置好域名映射就可以了,重要的是先看日志分析是什么問題
最后成功頁(yè)面
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Zabbix 上Windows性能監(jiān)控，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-09-09
在Linux下用軟件實(shí)現(xiàn)RAID功能的實(shí)現(xiàn)方法
安裝程式實(shí)現(xiàn)軟件RAID代替硬件RAID的方法，今天再進(jìn)一步談?wù)勈謩?dòng)創(chuàng)建軟RAID和日常維護(hù)的方法。2011-04-04
VPS主機(jī)控制面板主要是用來控制和管理VPS服務(wù)器的，一般來說如果想要將VPS主機(jī)共享出來給多個(gè)人使用的話，我們就會(huì)采用類似于Cpanel、Virtualmin等主機(jī)控制面板。如果VPS主機(jī)只是一個(gè)人使用的話部落建議還是不要使用主機(jī)控制面板，以免帶來不必要的安全隱患2017-07-07
URL Rewrite Module 2.1 URL重寫模塊規(guī)則寫法
URL重寫模塊是IIS的擴(kuò)展，可作為獨(dú)立IIS Server的下載下載，并且還預(yù)先安裝在Windows Azure網(wǎng)站（WAWS）上的任何網(wǎng)站上，供您使用，本教程將指導(dǎo)您完成如何為URL重寫模塊創(chuàng)建和測(cè)試一組重寫規(guī)則2020-12-12
HTTP常見的狀態(tài)碼HTTP Status Code
這篇文章主要介紹了HTTP常見的狀態(tài)碼HTTP Status Code2017-01-01
ssh服務(wù)器拒絕了密碼 請(qǐng)?jiān)僭囈淮我呀鉀Q(親測(cè)有效)
這篇文章主要介紹了解決ssh服務(wù)器拒絕了密碼 請(qǐng)?jiān)僭囈淮蔚膯栴},本文通過兩種方法給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-08-08
這篇干貨不錯(cuò)，把HTTPS的原理講清楚了，而且容易懂，建議大家好好讀一下。2020-03-03
這篇文章主要介紹了Dell PowerEdge服務(wù)器工具下載集合 ,需要的朋友可以參考下2016-04-04
MIME類型大全(response.setContentType中MIME參數(shù)類型總結(jié))
MIME類型就是設(shè)定某種擴(kuò)展名的文件用一種應(yīng)用程序來打開的方式類型，當(dāng)該擴(kuò)展名文件被訪問的時(shí)候，瀏覽器會(huì)自動(dòng)使用指定應(yīng)用程序來打開。多用于指定一些客戶端自定義的文件名，以及一些媒體文件打開方式2017-07-07
cwRsync提示password file must be owned by root when running as
今天在配置服務(wù)器的時(shí)候，用了rsync4.10版本，客戶端是2003服務(wù)器端是2008 r2 同步的時(shí)候提示password file must be owned by root when running as root問題，以前用老版本的時(shí)候沒見過，還好看了下面的文章解決了，特分享下2015-08-08