解讀hadoop啟動集群之后沒有namenode的一種情況
更新時間：2024年10月09日 15:31:01 作者：薯條不蘸番茄醬
在配置Hadoop集群時,IP地址錯誤可能導致Namenode無法啟動,解決方法包括檢查并修改配置文件中的IP地址,確保虛擬機間通信無障礙,并適當格式化Namenode和DataNode,詳細步驟包括修改hosts文件、配置ssh免密碼登錄、調(diào)整zookeeper配置
先說結(jié)論
一般在網(wǎng)上搜索這個問題都是讓重新格式化namenode(當然，格式化之前要記得清空namenode和DataNode文件夾)。
但是對于我之前遇到的問題卻沒法解決。
我的做法是
檢查你的hadoop的配置文件是否填寫正確
我的hadoop的hdfs-site.xml中的主機IP地址未填寫正確
導致啟動集群服務(wù)后namenode啟動不上
hdfs當然也沒法用
我的虛擬機會產(chǎn)生這個問題主要是虛擬機的IP地址發(fā)生了改變，在這里我簡單記錄一下發(fā)生這種問題怎么處理，也方便我以后參閱。
- 1.首先查明每臺虛擬機的IP地址，修改 etc/hosts文件。
- 2.保證每臺虛擬機能互ping，ssh免密碼登錄可以使用。
- 3.修改hadoop文件夾中 etc/hadoop中的core-site.xml、hdfs-site.xml、和zookeeper文件夾（如果安裝了zookeeper的話）中的zoo.cfg 文件
- 4.格式化節(jié)點（hadoop-2.9.2/bin/hdfs namenode -format），如果所有虛擬機的IP地址都發(fā)生了改變，那么就都要格式化，格式化之前要記得清空namenode和DataNode文件夾，并修改namenode和DataNode文件夾的權(quán)限（chmod 777 namenode）
- 5.最后再啟動集群 hadoop-2.9.2/sbin/start-all.sh，以后關(guān)閉集群最好使用stop-all.sh
- 6.先試試用命令上傳文件到hdfs是否成功（hadoop-2.9.2/bin/hdfs dfs -put student.txt /tmp/），然后再試著用瀏覽器訪問虛擬機50070端口，如果都能調(diào)試成功再試著用java或者python等腳本操作hdfs。
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了hadoop格式化HDFS出現(xiàn)錯誤解決辦法的相關(guān)資料,hadoop格式化HDFS報錯java.net.UnknownHostException，這里提供解決辦法，需要的朋友可以參考下2017-09-09
教你一招一鍵搭建zerotier planet服務(wù)器腳本
ZeroTier 是一個加密的虛擬骨干網(wǎng),它的客戶端和服務(wù)端都是開源且免費的,對于一般的用戶,可以用它做內(nèi)網(wǎng)穿透,將處于不同內(nèi)網(wǎng)中的主機組成虛擬局域網(wǎng),這篇文章給大家介紹一鍵搭建zerotier planet服務(wù)器腳本的相關(guān)知識,感興趣的朋友一起看看吧2023-12-12
GitHub是一個免費托管開源代碼的遠程倉庫,但當我們既不想公開源代碼,又舍不得給GitHub交保護費時,就需要自己搭建一臺Git服務(wù)器作為私有倉庫使用了,下面我們就來看看具體實現(xiàn)方法吧2023-08-08
網(wǎng)絡(luò)時間協(xié)議，英文名稱：Network?Time?Protocol（NTP）是用來使計算機時間同步化的一種協(xié)議，這篇文章主要介紹了Windows搭建NTP時間同步服務(wù)器的圖文教程，需要的可以收藏一下2023-08-08
Git是一個分布式的版本控制工具，本篇文章從介紹Git開始，重點在于介紹Git的基本命令和使用技巧，讓你嘗試使用Git的同時，體驗到原來一個版本控制工具可以對開發(fā)產(chǎn)生如此之多的影響2014-09-09
4種VPS主機技術(shù)原理及優(yōu)缺點(VPS獨享主機技術(shù)原理)
這篇文章主要介紹了4種VPS主機技術(shù)原理及優(yōu)缺點(VPS獨享主機技術(shù)原理),需要的朋友可以參考下2015-09-09
iSCSI服務(wù)器CHAP雙向認證配置及創(chuàng)建步驟
這篇文章主要介紹了iSCSI服務(wù)器CHAP雙向認證配置,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-04-04
這篇文章主要介紹了阿里云快速搭建一個靜態(tài)網(wǎng)站的方法步驟，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-02-02
TCP socket SYN隊列和Accept隊列區(qū)別原理解析
這篇文章主要介紹了TCP socket SYN隊列和Accept隊列區(qū)別原理解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-12-12
這篇文章主要介紹了lamp主機是什么 vps如何配置lamp主機,需要的朋友可以參考下2015-10-10