《大数据技术原理与应用》林子雨课后简答题答案.pdf

《大数据技术原理与应用》林子雨课后简答题答案

第一章大数据概述

1.试述大数据的四个基本特征。

数据量大：人类进入信息社会后，数据以自然方式增长，数据每两年就会增加一

倍多。

数据类型繁多：大数据的数据类型非常丰富，包括结构化数据和非结构化数据，

如邮件、音频、视频等，给数据处理和分析技术提出了新的挑战。

处理速度快：由于很多应用都需要基于快速生成的数据给出实时分析结果，因此

新兴的大数据分析技术通常采用集群处理和独特的内部设计。

价值密度低：有价值的数据分散在海量数据中。

2.举例说明大数据的关键技术。

大数据技术层面功能

数据采集与预处理利用ETL工具将分布在异构数据源中的数据抽到临时中间

层后进行清洗、转换和集成后加载到数据仓库中，成为联机分析处理、数据挖掘

的基础，也可以利用日志采集工具（如Flume、Kafka等）将实时采集的数据作

为流计算系统的输入，进行实时处理分析。

数据存储和管理利用分布式文件系统、NoSQL数据库等实现对数据的存储和

管理。

数据处理与分析利用分布式并行编程模型和计算框架，结合机器学习和数据

挖掘算法，实现对海量数据的处理和分析，并进行可视化呈现。

数据安全和隐私保护构建数据安全体系和隐私数据保护体系。

3.详细阐述大数据、云计算和物联网三者之间的区别与联系

区别联系

大数据侧重于海量数据的存储、处理与分析，从海量数据中发现价值，服务于生

产和生活；云计算旨在整合和优化各种IT资源并通过网络以服务的方式，廉价

地提供给用户；物联网的发展目标是实现“物物相连”，应用创新是物联网

的核心。从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据

根植于云计算，大数据分析的很多技术都来自于云计算，云计算的分布式存储和

管理系统提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce

提供了数据分析能力。没有这些云计算技术作为支撑，大数据分析就无从谈起。

物联网的传感器源源不断的产生大量数据，构成了大数据的重要数据来源，物联

网需要借助于云计算和大数据技术，实现物联网大数据的存储、分析和处理。

第二章大数据处理架构HadoopHadoop

1.试述Hadoop具有哪些特性。

高可靠性。采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保

证正常对外提供服务。

高效性。作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大

核心技术能够高效地处理PB级数据。

高可扩展性。Hadoop的设计目标是可以高效稳定地运行在廉价的计算机集群上，

可以扩展到数以千计的计算机节点上。

高容错性。采用冗余数据存储方式，自动保存数据的多个副本，并且能够自动将

失败的任务进行重新分配。

成本低。Hadoop采用廉价的计算机集群，成本比较低，普通用户也很容易用自

己的PC搭建Hadoop运行环境。

运行在Linux操作系统上。Hadoop是基于Java开发的，可以较好的运行在

Linux系统上。

支持多种编程语言。Hadoop上的应用程序也可以使用其他语言编写，如C++。

2.试述Hadoop的项目结构以及每个部分的具体功能。

HDFS是Hadoop项目的两个核心之一，它是针对谷歌文件系统的开源实现。

HBase是一个提供高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库，

一般采用HDFS作为其底层数据存储系统。

HadoopMapReduce是针对谷歌MapReduce的开源实现。MapReduce是一种编

程模型，用于大规模数据集（大于1TB）的并行运算。

Hive是一个基于Hadoop的数据仓库工具，可以用于对Hadoop文件中的数据

集进行数据整理、特殊查询和分析存储。

Pig是一种数据流语言和运行环境，适合于使用Hadoop和MapReducce平台

上查询大型半结构化数据集。

ZooKeeper是针对谷歌Chubby的一个开源实现，是高效和可靠的协同工作系

统，提供分布式锁之类的基本服务，用于构建分布式应用，减轻分布式应用程序

所承担的协调任务。

Sqoop主要用来在Hadoop和关系数据库之间交换数据，可以改进数据的互操

作性。

3.试列举单机模式和伪分布式模式的异同点。

单机模式：Hadoop只在一台机器上运行，存储采用本地文件系统