《大数据技术原理与应用》期末复习重点.pdf

大数据技术原理与应用期末复习重点

一、

1、数据产生方式大致经历了3个阶段：运营式系统阶段、用户

原创内容阶段、感知式系统阶段。

2、大数据的特点:数据量大（volume）、数据类型繁多（variety）、

处理速度快（velocity）、价值密度低（value）；4V+1C（C：复杂度

complexity）。

3、云计算的特点：超大规模、虚拟化、高可靠性、通用性、高可

伸缩性、按需服务、极其廉价。

4、科学研究方面经历的4种范式：实验、理论、计算、数据。

5、大数据四种计算模式:批量计算(针对大规模数据的批量数据)；

流计算(针对流计算的实时计算)；图计算(针对大规模图结构数据的

处理)；查询分析计算(大规模数据的存储管理和查询分析)。

6、数据总体上可以分为静态数据和流数据。

7、对静态数据和流数据的处理，对应着两种截然不同的计算模

式：批量计算和实时计算。

8、Hadoop的特性：高可靠性、高效性、高扩展性、高容错性、

成本低、运行在Linux平台上、支持多种编程语言。

9、Hadoop的核心子项目：HDFS和MapReduce。HDFS2.0的新特

性HDFSHA和HDFS联邦。

10、YARN体系结构中的三个组件：ResourceManager、

ApplicationMaster和NodeManager。

二、

1、分布式文件系统是一种通过网络实现文件在多台主机上进行

分布式存储的文件系统。

2、名称节点：名称节点也叫主节点，负责管理分布式文件系统

的命名空间，负责文件和目录的创建、删除和重命名等，同时管理着

数据节点和文件块的映射关系。

数据节点：数据节点也叫从节点，负责数据的存储和读取，在存

储时，有名称节点分配存储位置，然后由客户端把数据直接写入相应

的数据节点。

第二名称节点：完成EditLog合并到FsImage的过程，缩短合并

的重启时间，其次作为“检查点”保存元数据的信息。

3、HDFS体系结构：HDFS采用了主从结构模型，一个HDFS集群

包括一个名称节点和若干个数据节点。

4、数据的冗余存储：作为一个分布式文件系统，为了保证系统

的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，通

常一个数据块的多个副本会被分不到不同的数据节点上，数据块1被

分别存放到数据节点A和C上，数据块2被存放在数据节点A和B

上。(多副本存储:名称节点保存的元数据被分割成1、2、3、4、5个

数据块，并复制多个副本分别保存在不同数据节点上。

有3个优点：

(1)加快数据传输速度。当多个客户端需要同时访问同一个文件

大数据技术原理与应用期末复习重点

一、

1、数据产生方式大致经历了3个阶段：运营式系统阶段、用户

原创内容阶段、感知式系统阶段。

2、大数据的特点:数据量大（volume）、数据类型繁多（variety）、

处理速度快（velocity）、价值密度低（value）；4V+1C（C：复杂度

complexity）。

3、云计算的特点：超大规模、虚拟化、高可靠性、通用性、高可

伸缩性、按需服务、极其廉价。

4、科学研究方面经历的4种范式：实验、理论、计算、数据。

5、大数据四种计算模式:批量计算(针对大规模数据的批量数据)；

流计算(针对流计算的实时计算)；图计算(针对大规模图结构数据的

处理)；查询分析计算(大规模数据的存储管理和查询分析)。

6、数据总体上可以分为静态数据和流数据。

7、对静态数据和流数据的处理，对应着两种截然不同的计算模

式：批量计算和实时计算。

8、Hadoop的特性：高可靠性、高效性、高扩展性、高容错性、

成本低、运行在Linux平台上、支持多种编程语言。

9、Hadoop的核心子项目：HDFS和MapReduce。HDFS2.0的新特

性HDFSHA和HDFS联邦。

10、YARN体系结构中的三个组件：ResourceManager、

ApplicationMaster和NodeManager。