南开大学22春“物联网工程”《大数据开发技术(二)》期末考试高频考点版(带答案)试卷号：1.pdfVIP

书山有路勤为径，学海无涯苦作舟！住在富人区的她

南开大学22春“物联网工程”《大数据开发技术（二）》期末考试高频考点

版（带答案）

一.综合考核(共50题)

1.

Dstream输出操作中()方法将DStream中的内容按对象序列化并且以SequenceFile的格式保存。

A.print

B.saveAsTextFiles

C.saveAsObjectFiles

D.saveAsHadoopFiles

参考答案：D

2.

GraphX中Edge边对象存有()字段

A.srcId

B.dstId

C.attr

D.val

参考答案：ABC

3.

如果numPartitions是分区个数，那么Spark每个RDD的分区ID范围是()。

A.[0，numPartitions]

B.[0，numPartitions-1]

C.[1，numPartitions-1]

D.[1，numPartitions]

参考答案：B

4.

MLlib中进行数据标准化的方式有()

A.Normalizer

B.Standard

C.StandardScaleer

D.MinMaxScaler

参考答案：ACD

书山有路勤为径，学海无涯苦作舟！住在富人区的她

5.

SparkGraphX中类Graph的joinVertices方法可以()

A.收集邻居顶点的顶点Id和顶点属性

B.收集邻居顶点的顶点Id

C.向指定顶点发送信息并聚合信息

D.将顶点信息更新到图中

参考答案：D

6.

Scala列表方法中返回所有元素，除了最后一个的方法是()。

A.drop

B.head

C.filter

D.init

参考答案：D

7.

Mllib中线性会馆算法中的参数reParam表示()

A.要运行的迭代次数

B.梯度下降的步长

C.是否给数据加干扰特征或者偏差特征

D.Lasso和ridge的正规化参数

参考答案：D

8.

以下哪个方法可以创建RDD()

A.parallelize

B.makeRDD

C.textFile

D.loadFile

参考答案：ABC

书山有路勤为径，学海无涯苦作舟！住在富人区的她

9.

PairRDD中groupBy(func)func返回key，传入的RDD的各个元素根据这个key进行分组。()

A.正确

B.错误

参考答案：A

10.

SparkStreaming支持实时流式数据，包括()。

A.Web服务器日志文件

B.社交网络数据

C.实时交易数据

D.类似Kafka的信息数据

参考答案：ABCD

11.

以下哪个函数可以对RDD进行去重()

A.sortBy

B.filter

C.distinct

D.intersection

参考答案：C

12.

SparkDataFrame中()方法可以返回一个List

A.collect

B.take

C.takeAsList

D.collectAsList

参考答案：CD

13.

Spark创建DataFrame对象方式有()

A.结构化数据文件

B.外部数据库

C.RDD

书山有路勤为径，学海无涯苦作舟！住在富人区的她

D.Hive中的表

参考答案：ABCD

14.

RDD中combineByKey不允许返回类型与输入数据类型不同的返回值。()

A.正确

B.错误

参考答案：B

15.

Mllib中线性会馆算法中的参数reParam默认值是()

参考答案：1

16.

SparkSQL可以通过()方法加载json文件为DataFrame

A.format

B.json

C.get

D.read