快捷導航

docker使用dockercompose編排一個Hadoop集群方式

更新時間：2024年01月17日 16:42:52 作者：大鵬blog

這篇文章主要介紹了docker使用dockercompose編排一個Hadoop集群方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

使用dockercompose編排一個Hadoop集群

本文使用docker-compose 最簡單的方式編排一個Hadoop集群

運行腳本文件

version: "3"

services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.2-java8
    container_name: namenode
    ports:
      - 9870:9870
    volumes:
      - hadoop_namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
    env_file:
      - ./hadoop.env

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.2-java8
    container_name: datanode
    volumes:
      - hadoop_datanode:/hadoop/dfs/data
    environment:
      SERVICE_PRECONDITION: "namenode:9870"
    env_file:
      - ./hadoop.env
  
  resourcemanager:
    image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.2-java8
    container_name: resourcemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864"
    env_file:
      - ./hadoop.env

  nodemanager1:
    image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.2-java8
    container_name: nodemanager
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    env_file:
      - ./hadoop.env
  
  historyserver:
    image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.2-java8
    container_name: historyserver
    environment:
      SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
    volumes:
      - hadoop_historyserver:/hadoop/yarn/timeline
    env_file:
      - ./hadoop.env
  
volumes:
  hadoop_namenode:
  hadoop_datanode:
  hadoop_historyserver:

運行方式

docker-compose up

運行

wordcount job
make wordcount

配置環(huán)境變量

配置參數(shù)可以在hadoop.env文件中指定

也可以作為特定服務(wù)（如namenode、datanode等）的環(huán)境變量指定：

可用配置包括

/etc/hadoop/core-site.xml CORE_CONF
/etc/hadoop/hdfs-site.xml HDFS_CONF
/etc/hadoop/yarn-site.xml YARN_CONF
/etc/hadoop/httpfs-site.xml HTTPFS_CONF
/etc/hadoop/kms-site.xml KMS_CONF
/etc/hadoop/mapred-site.xml MAPRED_CONF

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

基于Maven+Docker的WebApp打包與部署全過程
這篇文章主要介紹了基于Maven+Docker的WebApp打包與部署的相關(guān)資料,文中通過代碼講解了如何找到正確的JAR包、覆蓋Docker使用的JAR、構(gòu)建Docker鏡像、解決Docker構(gòu)建失敗的問題以及在服務(wù)器上部署,需要的朋友可以參考下
2026-02-02
優(yōu)化Docker容器啟動時間的常見方案
優(yōu)化 Docker 容器啟動時間,尤其在大規(guī)模部署、CI/CD 或微服務(wù)架構(gòu)中非常關(guān)鍵,啟動慢會影響響應(yīng)時間、彈性擴縮容和用戶體驗,以下是從鏡像構(gòu)建、容器運行、依賴管理等多個方面整理的容器啟動加速方案,需要的朋友可以參考下
2025-06-06
Docker容器中文件與本地相互復(fù)制拷貝方式
這篇文章主要介紹了Docker容器中文件與本地相互復(fù)制拷貝方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-11-11
docker 實現(xiàn)容器與宿主機無縫調(diào)用shell命令
這篇文章主要介紹了docker 實現(xiàn)容器與宿主機無縫調(diào)用shell命令的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨想過來看看吧
2021-03-03
docker安裝及運行MySQL5.7容器完整腳本及說明
這個腳本用于在Docker中安裝和運行MySQL 5.7容器,它首先創(chuàng)建必要的目錄和配置文件,然后刪除并強制停止現(xiàn)有的MySQL容器,最后啟動一個新的MySQL容器,配置包括設(shè)置環(huán)境變量、端口映射、數(shù)據(jù)和配置文件目錄掛載等
2025-01-01
docker和docker-compose離線安裝實踐
文章介紹了如何在離線環(huán)境中安裝Docker和Docker Compose,包括下載、解壓、移動文件、啟動服務(wù)和驗證步驟
2025-12-12
解決docker中ifconfig不可用的問題
這篇文章主要介紹了解決docker中ifconfig不可用的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-03-03
docker 啟動具有多個網(wǎng)絡(luò)接口的容器的方法示例
這篇文章主要介紹了docker 啟動具有多個網(wǎng)絡(luò)接口的容器的方法示例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-10-10
Docker拉鏡像報錯error pulling image configuration:
這篇文章主要介紹了Docker拉鏡像報錯error pulling image configuration: unknown blob的問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-09-09
docker鏡像導入導出的兩種方法
本文主要介紹了docker鏡像導入導出的兩種方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2023-03-03