hadoop動(dòng)態(tài)增加和刪除節(jié)點(diǎn)方法介紹
上一篇文章中我們介紹了Hadoop編程基于MR程序?qū)崿F(xiàn)倒排索引示例的有關(guān)內(nèi)容，這里我們看看如何在Hadoop中動(dòng)態(tài)地增加和刪除節(jié)點(diǎn)（DataNode）。
假設(shè)集群操作系統(tǒng)均為：CentOS 6.7 x64
Hadoop版本為：2.6.3
一、動(dòng)態(tài)增加DataNode
1、準(zhǔn)備新的DataNode節(jié)點(diǎn)機(jī)器，配置SSH互信，可以直接復(fù)制已有DataNode中.ssh目錄中的authorized_keys和id_rsa
2、復(fù)制Hadoop運(yùn)行目錄、hdfs目錄及tmp目錄至新的DataNode
3、在新DataNode上啟動(dòng)hadoop
..sbin/hadoop-daemon.sh start datanode ..sbin/yarn-daemon.sh start datanode
4、在NameNode上刷新節(jié)點(diǎn)
..bin/hdfs dfsadmin -refreshNodes ..sbin/start-balancer.sh
5、為方便下次啟動(dòng)，可以將新DataNode的域名和ip加入/etc/hosts中
二、動(dòng)態(tài)刪除DataNode
1、配置NameNode的hdfs-site.xml，適當(dāng)減小dfs.replication副本數(shù)，增加dfs.hosts.exclude配置
<property> <name>dfs.hosts.exclude</name> <value>/usr/local/hadoop2/etc/hadoop/excludes</value> </property>
2、在對(duì)應(yīng)路徑（/etc/hadoop/）下新建excludes文件，并寫(xiě)入待刪除DataNode的ip或域名
3、在NameNode上刷新所有DataNode
..bin/hdfs dfsadmin -refreshNodes ..sbin/start-balancer.sh
4、此時(shí)，可以在web檢測(cè)界面（ip:50070）上可以觀測(cè)到DataNode逐漸變?yōu)镈ead。
總結(jié)
以上就是本文關(guān)于hadoop動(dòng)態(tài)增加和刪除節(jié)點(diǎn)方法介紹的全部?jī)?nèi)容，希望對(duì)大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站：淺談七種常見(jiàn)的Hadoop和Spark項(xiàng)目案例、hadoop重新格式化HDFS步驟解析等，有什么問(wèn)題可以直接留言，小編會(huì)及時(shí)回復(fù)大家的。感謝朋友們對(duì)本站的支持！
相關(guān)文章
hadoop動(dòng)態(tài)增加和刪除節(jié)點(diǎn)方法介紹
這篇文章主要介紹了hadoop動(dòng)態(tài)增加和刪除節(jié)點(diǎn)方法介紹，小編覺(jué)得挺不錯(cuò)的，這里分享給大家，需要的朋友可以參考。2017-10-10
搭建Consul服務(wù)發(fā)現(xiàn)與服務(wù)網(wǎng)格
這篇文章介紹了搭建Consul服務(wù)發(fā)現(xiàn)與服務(wù)網(wǎng)格的方法，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-04-04
這篇文章主要介紹了linux系統(tǒng)安裝hadoop真分布式集群詳解,需要的朋友可以參考下2022-04-04
Spark簡(jiǎn)介以及與Hadoop對(duì)比分析
這篇文章主要對(duì)Spark作了詳細(xì)的簡(jiǎn)介，包含spark的生態(tài)系統(tǒng)、基本感念、架構(gòu)設(shè)計(jì)、部署應(yīng)用，以及與Hadoop作了對(duì)比，分析其優(yōu)劣特點(diǎn)，有需要的朋友可以參考下2021-08-08
淺談七種常見(jiàn)的Hadoop和Spark項(xiàng)目案例
這篇文章主要介紹了淺談七種常見(jiàn)的Hadoop和Spark項(xiàng)目案例，小編覺(jué)得挺不錯(cuò)的，這里分享給大家，需要的朋友可以了解下。2017-10-10
Hadoop編程基于MR程序?qū)崿F(xiàn)倒排索引示例
最近正在學(xué)習(xí)Hadoop的知識(shí)，一步步來(lái)，這里先給大家分享一篇關(guān)于Hadoop編程基于MR程序?qū)崿F(xiàn)倒排索引的文章，還是不錯(cuò)的，供需要的朋友參考。2017-10-10
阿里云k8s集群使用ingress配置時(shí)間超時(shí)的參數(shù)
本文主要介紹了在使用阿里云k8s集群時(shí)使用ingress進(jìn)行參數(shù)配置,例如設(shè)置http超時(shí)時(shí)間等,詳細(xì)講解了k8s容器部署的Nginx和ingress如何設(shè)置自定義的參數(shù)配置,感興趣的可以了解一下2024-10-10
這篇文章介紹了Consul的HTTP?API和使用方法，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-04-04
Hadoop對(duì)文本文件的快速全局排序?qū)崿F(xiàn)方法及分析
這篇文章主要介紹了Hadoop對(duì)文本文件的快速全局排序?qū)崿F(xiàn)方法及分析，小編覺(jué)得挺不錯(cuò)的，這里分享給大家，供需要的朋友參考。2017-10-10