2025年史上最全的大数据面试题,大数据开发者必看 .pdfVIP

天将降大任于斯人也，必先苦其心志，劳其筋骨，饿其体肤，空乏其身，行拂乱其所为。——《孟子》

【某公司笔试面试题】

1\使用mr，spark,sparksql编写wordcount程序

【Spark版本】

valconf=newSparkConf().setAppName(wd).setMaster(local[1])

valsc=newSparkContext(conf,2)

//加载

vallines=sc.textFile(tructField(name,DataTypes.StringType,true))

valparis=lines.flatMap(line=line.split(^A))

valwords=paris.map((_,1))

valresult=words.reduceByKey(_+_).sortBy(x=x._1,false)

//打印

result.foreach(

wds={

println(单词：+wds._1+个数：+wds._2)

}

)

sc.stop()

【sparksql版本】

valconf=newSparkConf().setAppName(sqlWd).setMaster(local[1])

valsc=newSparkContext(conf)

valsqlContext=newSQLContext(sc)

//加载

vallines=sqlContext.textFile(E:\idea15\createRecommeder\data\words.txt)

valwords=lines.flatMap(x=x.split()).map(y=Row(y))

valstructType=StructType(Array(StructField(name,DataTypes.StringType,true)))

valdf=sqlContext.createDataFrame(rows,structType)

df.registerTempTable(t_word_count)

sqlContext.udf.register(num_word,(name:String)=1)

sqlContext.sql(selectname,num_word(name)from

t_word_count).groupBy(df.col(name)).count().show()

sc.stop()

2\hive的使用，内外部表的区别，分区作用，UDF和Hive优化

(1)hive使用：仓库、工具

太上有立德，其次有立功，其次有立言，虽久不废，此谓不朽。——《左传》

(2)hive内外部表：内部表数据永久删除，外部表数据删除后、其他人依然可以访问

(3)分区作用：防止数据倾斜

(4)UDF函数：用户自定义的函数(主要解决格式，计算问题)，需要继承UDF类

java代码实现

classTestUDFHiveextendsUDF{

publicStringevalute(Stringstr){

try{

returnhello+str

}catch(Exceptione){

returnstr+error

}