大數(shù)據(jù)基礎(chǔ)面試題考點(diǎn)與知識(shí)點(diǎn)整理
我要評(píng)論1.分布式的三種模式
2.Hadoop集群的運(yùn)行模式
Hadoop的運(yùn)行模式分為3種：
本地運(yùn)行模式（獨(dú)立模式，單機(jī)模式），
偽分布運(yùn)行模式，
集群運(yùn)行模式（完全分布式模式）
偽分布模式就是在一臺(tái)服務(wù)器上面模擬集群環(huán)境,但僅僅是機(jī)器數(shù)量少,其通信機(jī)制與運(yùn)行過(guò)程與真正的集群模式是一樣的，hadoop的偽分布運(yùn)行模式可以看做是集群運(yùn)行模式的特殊情況。
3.cloudera提供哪幾種安裝CDH方法
· Cloudera manager
· Tarball
· Yum
· Rpm
其中Yum及Rpm安裝可以算作一種安裝方式
4.Hadoop的模塊有哪些
5.Zookeeper的作用
6.Shuffle在MapReduce指的是什么？
7. resourceManager在YARN中的作用
8. 將打好的jar包，提交給YARA運(yùn)行，請(qǐng)寫出命令
9. 在完全分布式中，將副本數(shù)設(shè)置為7，在哪個(gè)配置文件中，如何配置
10. 如何確定map個(gè)數(shù)
11. MapReduce在hadoop中的作用
12. MapReduce分為哪兩個(gè)階段
13. Hadoop的序列化接口是什么
14. 自定義的MapReduce如何向yarn提交運(yùn)行
15. 自定義MapReduce的模型
16. 簡(jiǎn)述HDFS的作用
17. 在HDFS的主從架構(gòu)中，誰(shuí)是“主”
18. 簡(jiǎn)述namenode和DataNode的區(qū)別及關(guān)系
19. 如何將用戶hadoop家目錄下的1.log,上傳到HDFS的 /input目錄下，請(qǐng)寫出命令
20. 請(qǐng)回答secondaryNameNode在HDFS的作用
21. 把下面的語(yǔ)句用hive方式實(shí)現(xiàn)
22. Hive的特點(diǎn)是什么？Hive和rdbms的異同？
23. metastore是什么
24. Hive有哪些方式保存數(shù)據(jù)，各有哪些特點(diǎn)
25. Hive的本質(zhì)是什么
====================================================================
1. 搭建偽分布式hadoop開發(fā)環(huán)境
1、Linux環(huán)境
2、Jdk安裝
3、 關(guān)閉防火墻
4、配置hadoop
5、格式化namenode（不需要重復(fù)）
6、啟動(dòng)hdfs 守護(hù)進(jìn)程
7、Web 訪問(wèn)界面 50070
8、配置YARN任務(wù)調(diào)度
9、啟動(dòng)hdfs YARA進(jìn)程
10、檢查YARN狀態(tài)
11、向YARN提交任務(wù)
2. 編寫代碼測(cè)試HDFS API
3. 編寫MapReduce程序，實(shí)現(xiàn)wordcount的功能
4. 實(shí)現(xiàn)編程測(cè)試數(shù)據(jù)的統(tǒng)計(jì)
5. 搭建hadoop完全分布式簡(jiǎn)單步驟
1、虛擬機(jī)裝備
2、網(wǎng)絡(luò)配置完好
3、JDK安裝
4、Ssh 配置
5、同步服務(wù)器時(shí)間
6、Hadoop集群配置
A:環(huán)境變量
B:hadoop文件配置，修改
7、啟動(dòng)hadoop集群
8、Web端口訪問(wèn)。
6. 編寫MR統(tǒng)計(jì)分省PV及臟數(shù)據(jù)
7. hive的安裝和使用
8. Hive架構(gòu)，分三個(gè)部分來(lái)講解，最好通過(guò)畫圖理解
9. 為什么說(shuō)hive是hadoop的數(shù)據(jù)倉(cāng)庫(kù)，從【數(shù)據(jù)存儲(chǔ)和分析】方面理解
10. Hive能做什么，與MapReduce相比較優(yōu)勢(shì)在哪（對(duì)于開發(fā)者）
相關(guān)文章
BAT面試中的大數(shù)據(jù)相關(guān)問(wèn)題筆記
這篇文章主要介紹了BAT面試中的大數(shù)據(jù)相關(guān)問(wèn)題,涉及大數(shù)據(jù)相關(guān)的概念、原理、知識(shí)點(diǎn)與算法等問(wèn)題,需要的朋友可以參考下2019-08-30BAT大數(shù)據(jù)面試題與參考答案小結(jié)
這篇文章主要介紹了BAT大數(shù)據(jù)面試題與參考答案,總結(jié)分析了大數(shù)據(jù)常見的各種知識(shí)點(diǎn)、疑難問(wèn)題與參考答案,需要的朋友可以參考下2019-08-16- 這篇文章主要介紹了百度面試算法題目與參考答案,總結(jié)分析了位圖、排序、鏈表、二叉樹等操作的原理與相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2019-09-06
- 這篇文章主要介紹了華為筆試算法面試題與參考答案,結(jié)合實(shí)例形式分析了基于C++的字符串轉(zhuǎn)換、判斷、排序等算法相關(guān)操作技巧,需要的朋友可以參考下2019-09-05
這篇文章主要介紹了阿里常用Java并發(fā)編程面試試題,總結(jié)分析了java并發(fā)編程的概念、原理、常見操作與相關(guān)注意事項(xiàng),需要的朋友可以參考下2019-09-04- 這篇文章主要介紹了兩道阿里python面試題與參考答案,結(jié)合具體實(shí)例形式分析了Python數(shù)組創(chuàng)建、遍歷、拆分及隨機(jī)數(shù)等相關(guān)操作技巧,需要的朋友可以參考下2019-09-02
- 這篇文章主要介紹了銀行java開發(fā)筆試面試題13道，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-08-27
騰訊前端面試題相關(guān)知識(shí)點(diǎn)集錦
這篇文章主要介紹了騰訊前端面試題相關(guān)知識(shí)點(diǎn),整理總結(jié)了騰訊前端面試中所涉及的相關(guān)基礎(chǔ)知識(shí)點(diǎn)與疑難問(wèn)題,需要的朋友可以參考下2019-08-27網(wǎng)絡(luò)工程師面試時(shí)喜歡問(wèn)的問(wèn)題與參考答案集錦
這篇文章主要介紹了網(wǎng)絡(luò)工程師面試時(shí)喜歡問(wèn)的問(wèn)題與參考答案,涉及相關(guān)網(wǎng)絡(luò)概念、疑難問(wèn)題與解決方法,需要的朋友可以參考下2019-08-23
