榮新教育:堅持面授的良心機構
全國咨詢熱線:400-1335-066
您現在的位置:首頁>媒體報道 > 正文

大數據面試問題小結

時間:2018-03-19 16:43:32 來源:榮新IT教育培訓 作者:榮新科技
今天給大家總結了下關于大數據的一些面試問題,大家自己看看會不會,不會的要努力了,下面一起來看看吧。
大數據面試問題小結
1.hdf文件體系中Namenode和DataNode差異和聯系

2.請描繪Spark RDD中的transform和action的了解?

3.兩個類TextInputFormat和KeyValueInputFormat的差異是什么?

4.在hadoop使命中,什么是inputsplit?

5.hadoop結構中文件拆分是怎樣被調用的?

6.參閱下面的MR體系場景:

hdfs塊巨細為64M

輸入類型為:64M

有三個巨細的文件,別離為64KB,65MB,127MB

hadoop文件會被這些文件拆分為多少split?

7.hadoop文件中,RecordReader的效果是什么?

8.Map階段完畢后,Hadoop結構會處理:Partitioning,shuffle,和Sort,在這個階段都發生了什么?

9.假如沒有界說Partitioner,那數據在沒有被送達reducer之前是如何被分區的?

10.什么是combiner?

11.別離舉例什么情況下會運用combiner,什么情況下不會運用?

12.以下操作是歸于窄依靠的spark transformation的是

(A) Rdd.map (B)rdd.count (C)rdd.filter (D)rdd.reducebykey

13.在Hadoop中界說的主要公用inputFormats中,哪一個是默認值(A)TextInputFormat

(B)KeyValueInputFormat

(C)SequenceFileInputFormat

14.請寫出下面代碼履行后A1和B1的值

val books=List("Hadoop","Hive","HDFS")

val A1=books.map(a->a.toUpperCase())

val B1=books.flatMap(a->a.toUpperCase())

15.簡述對大數據組件:Yarn,Spark,Hbase,Hive的了解
文章源自榮新教育官網:www.berkantcoskun.com歡迎訪問,轉載需注明出處

成人av影片