Windows下使用IDEA搭建Hadoop開發(fā)環(huán)境的詳細方法
筆者鼓弄了兩個星期，終于把所有有關hadoop的環(huán)境配置好了，一是虛擬機上的 完全分布式集群 ，但是為了平時寫代碼的方便，則在windows上也配置了hadoop的 偽分布式集群 ，同時在IDEA上就可以編寫代碼，同時在windows環(huán)境下進行運行。（如果不配置windows下的偽分布式集群，則在IDEA上編寫的代碼無法在windows平臺下運行）。筆者在網絡上找了很多有關windows下使用idea搭建hadoop開發(fā)環(huán)境的中文教程都不太全，最后使用國外的英文教程配置成功，因此這里整理一下，方便大家使用。
我的開發(fā)環(huán)境如下：
1.Windows10
2.Java 8
3.VMware-workstation-pro
1.Hadoop在windows當中的安裝
首先在Windows系統(tǒng)里打開瀏覽器，下載hadoop的安裝包（二進制文件）: http://hadoop.apache.org/releases.html
打開網址，我們會發(fā)現(xiàn)這樣的界面：
由于hadoop在開發(fā)當中我們常常使用了2.x版本的，因此這里我們這里下載2.10.1版本的。如果你想使用其他版本的進行下載，那么在下載之前需要檢查以下maven倉庫里是否有相應版本所對應的版本，不然在使用IDEA進行開發(fā)的時候，則無法運行。我們打開網址：https://mvnrepository.com/
在其中搜索hadoop.則會出現(xiàn)以下的界面：
鼠標往下滑動,發(fā)現(xiàn)果然！2.10.1的版本出現(xiàn)了！因此我們可以使用找個版本的hadoop，因為在maven倉庫里是可以找到的，這樣就不會出現(xiàn)無法編程調用hadoop的問題：
2.將下載的文件進行解壓
我們下載之后的文件二進制文件后綴名為tar.gz，你可以來到你下載的地方，使用windows下的壓縮包軟件直接進行解壓，我使用的是2345壓縮軟件進行的解壓。有些教程讓我們必須在windows下模擬的linux環(huán)境下（MinGW）才能夠解壓，其實完全不用，就把tar.gz當作普通的壓縮文件就好了，解壓之后將文件夾更名為hadoop。
3.設置環(huán)境變量 一方面是要設置好Java的環(huán)境變量 另一方面是要設置好剛剛下載的Hadoop的環(huán)境變量
我們在環(huán)境變量處分別設置JAVA_HOME和HADOOP_HOME（目的是為了hadoop在運行的時候能夠找到自己和java的地方在哪兒）:
然后在Path里添加JAVA和hadoop的二進制文件夾，bin文件夾，目的是我們這樣就可以使用cmd對java和haodoop進行操作：
4.驗證環(huán)境變量的配置
打開你的cmd，輸入以下命令，出現(xiàn)我這樣的輸出說明配置環(huán)境變量成功：
C:\Users\lenovo>hadoop -version java version "1.8.0_162" Java(TM) SE Runtime Environment (build 1.8.0_162-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)
5.HDFS的配置
接下來就是配置HDFS的文件，進行偽分布式集群以適應你的計算機。（備注：偽分布式集群也是分布式集群，可以起動分布式計算的效果）
我們來到之前解壓的hadoop文件夾下，打開etc/hadoop文件夾，發(fā)現(xiàn)里面有很多文件：
現(xiàn)在我們的任務就是修改這些文件當中的代碼，務必修改，不然根本無法運行hadoop??！
6.修改 hadoop-env.cmd
打開這個文件，在找個文件當中的末尾添加上：
set HADOOP_PREFIX=%HADOOP_HOME% set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\bin
7.修改core-site.xml
將configuration處更改為：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://0.0.0.0:9000</value> </property> </configuration>
8.hdfs-site.xml
將configuration處更改為如下所示，其中
file:///F:/DataAnalytics/dfs/namespace_logs file:///F:/DataAnalytics/dfs/data
這兩個文件夾一定需要是已經存在的文件夾，你可以在你的hadoop文件夾下隨意創(chuàng)建兩個文件夾，然后將下面的這兩個文件夾的絕對路徑替換成你的文件夾，這里我也是創(chuàng)建了兩個新的文件夾，hadoop的下載文件夾里本身是沒有的。
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///F:/DataAnalytics/dfs/namespace_logs</value> </property> <property> <name>dfs.data.dir</name> <value>file:///F:/DataAnalytics/dfs/data</value> </property> </configuration>
9. mapred-site.xml
將下方的%USERNAME%替換成你windows的用戶名?。?！這個十分重要，不要直接復制?。?！
<configuration> <property> <name>mapreduce.job.user.name</name> <value>%USERNAME%</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.apps.stagingDir</name> <value>/user/%USERNAME%/staging</value> </property> <property> <name>mapreduce.jobtracker.address</name> <value>local</value> </property> </configuration>
10.yarn-site.xml
修改為如下所示：
<configuration> <property> <name>yarn.server.resourcemanager.address</name> <value>0.0.0.0:8020</value> </property> <property> <name>yarn.server.resourcemanager.application.expiry.interval</name> <value>60000</value> </property> <property> <name>yarn.server.nodemanager.address</name> <value>0.0.0.0:45454</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.server.nodemanager.remote-app-log-dir</name> <value>/app-logs</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/dep/logs/userlogs</value> </property> <property> <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>-1</value> </property> <property> <name>yarn.application.classpath</name> <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value> </property> </configuration>
11.初始化環(huán)境變量
在windows下的cmd，輸入cmd的命令，用于初始化環(huán)境變量。hadoop-env.cmd后綴為cmd，說明是cmd下可執(zhí)行的文件：
%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd
12.格式化文件系統(tǒng)（File System）
這個命令在整個hadoop的配置環(huán)境和之后的使用當中務必僅使用一次?。。?！不然的話后續(xù)會導致hadoop日志損壞，NameNode無法開啟，整個hadoop就掛了！
將如下的命令輸入到cmd當中進行格式化：
hadoop namenode -format
輸出：
2018-02-18 21:29:41,501 INFO namenode.FSImage: Allocated new BlockPoolId: BP-353327356-172.24.144.1-1518949781495
2018-02-18 21:29:41,817 INFO common.Storage: Storage directory F:\DataAnalytics\dfs\namespace_logs has been successfully formatted.
2018-02-18 21:29:41,826 INFO namenode.FSImageFormatProtobuf: Saving image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 using no compression
2018-02-18 21:29:41,934 INFO namenode.FSImageFormatProtobuf: Image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 of size 390 bytes saved in 0 seconds.
2018-02-18 21:29:41,969 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
13.向hadoop文件當中注入winutills文件
由于windows下想要開啟集群，會有一定的bug，因此我們去網站：https://github.com/steveloughran/winutils
下載對應版本的 winutils.exe 文件。打開這個Github倉庫后如下所示：
我們打開hadoop2.8.3/bin，選擇其中的 winutils.exe 文件進行下載，然后將下載的這個文件放入到本地的hadoop/bin文件當中。不然的話，你打開一會兒你的偽分布式集群，馬上hadoop就會自動關閉，缺少這兩個文件的話。
我本地的bin文件最終如下所示：
14.開啟hadoop集群
下面就是最激動人心的開啟hadoop集群了！?。?！我們在cmd當中輸入：
C:\Users\lenovo>%HADOOP_HOME%/sbin/start-all.cmd This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd starting yarn daemons
這樣就會跳出來很多黑色的窗口，如下所示：
然后可以使用JPS工具查看目前開啟的node有哪些，如果出現(xiàn)namenode，datanode的話說明集群基本上就成功了。如下所示：
15.打開本地瀏覽器進行驗證
我們在瀏覽器輸入localhost:50070,如果能夠打開這樣的網頁，說明hadoop已經成功開啟：
接下來就可以開始IDEA的配置了
16.創(chuàng)建MAVEN項目工程
打開IDEA之后，里面的參數(shù)和項目工程名稱隨便寫，等待工程創(chuàng)建完畢即可。然后我們編輯pom.xml文件，如下所示：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.atguigu</groupId>
<artifactId>hdfs1205</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>RELEASE</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.10.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.10.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.10.1</version>
</dependency>
</dependencies>
</project>
因為我使用了2.10.1版本，因此導入的包均為2.10.1，除了log4j，這個是固定的2.8.2版本的。
然后點擊我箭頭指向的同步maven倉庫，如下所示：
同步完成之后，IDEA左邊的external libararies處就會顯示大量的有關hadoop的jar包，如下所示：
這樣就說明我們導入maven倉庫成功了。
17.編寫代碼
現(xiàn)在我們開始編寫代碼，在開啟hadoop偽分布式集群之后，代碼才可以運行哦！
代碼如下所示：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.net.URI;
public class Test {
public static void main(String[] args) throws Exception {
FileSystem fs = FileSystem.get(new URI("hdfs://127.0.0.1:9000"), new Configuration());
FileStatus[] files = fs.listStatus(new Path("/"));
for (FileStatus f : files) {
System.out.println(f);
}
System.out.println("Compile Over");
}
}
這段代碼的含義是遍歷hadoop文件系統(tǒng)(HDFS)下的root下所有文件的狀態(tài)，并輸出，由于我目前并沒有在HDFS下put了任何文件，因此不會有輸出，出現(xiàn)這樣的輸出，說明代碼代碼運行成功：
exit code 0，返回code為0說明運行成功！
到此這篇關于Windows下使用IDEA搭建Hadoop開發(fā)環(huán)境的文章就介紹到這了,更多相關IDEA搭建Hadoop開發(fā)環(huán)境內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Eureka在分布式系統(tǒng)中起到了連接各個微服務的紐帶作用,使得服務之間的交互變得更加靈活、可靠,本文將深入探討如何使用Spring?Cloud,逐步引導讀者完成Eureka服務模塊的搭建,感興趣的朋友跟隨小編一起看看吧2024-02-02
這篇文章主要給大家介紹了三種Spring依賴注入的方式,?settter方法注入,構造器注入以及變量(filed)?注入這三種方式,文章通過代碼示例給大家介紹的非常詳細,需要的朋友可以參考下2023-11-11
使用LambdaQueryWrapper動態(tài)加過濾條件?動態(tài)Lambda
這篇文章主要介紹了使用LambdaQueryWrapper動態(tài)加過濾條件?動態(tài)Lambda，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教。2022-01-01
大家好，本篇文章主要講的是Java如何做帶復選框的菜單實例代碼，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
這篇文章主要介紹了JAVA 反射機制的相關知識，文中講解的非常細致，代碼幫助大家更好的理解學習，感興趣的朋友可以了解下2020-06-06
Mapstruct?@Mapper?@Mapping?使用小結
這篇文章主要介紹了Mapstruct?@Mapper?@Mapping使用小結,他們用于各個對象實體間的相互轉換,例如數(shù)據庫底層實體轉為頁面對象,Model?轉為?DTO,?DTO?轉為其他中間對象,?VO?等等,相關轉換代碼為編譯時自動產生的新文件和代碼,需要的朋友可以參考下2023-09-09
這篇文章主要為大家詳細介紹了Java中常用的設計模式之建造者模式，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-02-02
哈希表是一種根據關鍵碼去尋找值的數(shù)據映射結構，該結構通過把關鍵碼映射的位置去尋找存放值的地方，說起來可能感覺有點復雜，我想我舉個例子你就會明白了，最典型的的例子就是字典2022-06-06
mybatis主從表關聯(lián)查詢,返回對象帶有集合屬性解析
這篇文章主要介紹了mybatis主從表關聯(lián)查詢,返回對象帶有集合屬性解析，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-03-03
Java Iterator迭代器_動力節(jié)點Java學院整理
迭代器是一種模式，它可以使得對于序列類型的數(shù)據結構的遍歷行為與被遍歷的對象分離，接下來通過本文給大家分享Java Iterator迭代器_動力節(jié)點Java學院整理，需要的朋友參考下吧2017-05-05