《数据采集与处理技术》课件——第2章 大数据技术基础.pptxVIP

第2章大数据技术基础

目录2.1大数据分布式文件系统2.2分布式数据库系统HBase2.3大数据分布式数据仓库

2.1大数据分布式文件系统

2.1大数据分布式文件系统2.1.1数据管理技术的发展数据管理技术从诞生到现在，经过不断演变和发展，如今已经有了一套成熟的理论体系和成熟的产业环境，引领了计算机科学的快速发展并带来了巨大的经济效益，先后经历了4个阶段。1.文件系统阶段在出现了可以长期保存数据的外存储器后，数据的存取已成为计算机的主要功能之一，操作系统中也出现了用于文件管理的相应软件，这一阶段存取数据的方式称为文件系统。文件系统在数据管理上有一定的优点，但它仍存在一些缺点，主要表现在数据的共享性差，冗余度高；数据的独立性不足；并发访问容易产生异常；数据的安全控制难以实现等4个方面。

2.数据库系统阶段为了克服文件系统的缺点，人们研究、设计一种新的、面向整个企业(组织)或整个应用的数据存取和管理方式，进入数据库系统阶段，数据库系统最主要的特点是共享性。简单来说，数据库就是存储在计算机的外存中有组织（格式或模型）的、大量的、共享的数据集合。目前，使用最广泛的是关系型数据库，其特点是可以供各种用户共享，具有最小冗余度和较高的数据独立性。数据库技术的出现，改变了人们利用计算机进行数据存储和管理的思维方式，从以程序为中心，转向到以数据库（能够实现数据共享的）为中心，从而提出了利用数据进行决策的思想。2.1.1数据管理技术的发展

3.数据仓库阶段数据仓库是基于计算机技术的快速发展和大数据时代下企业的需求而提出的，绝大多数数据仓库的建设是为了进行数据分析与挖掘，而且基本是基于关系数据库与多维数据库建立的。2.1.1数据管理技术的发展

4.分布式系统阶段传统的网络文件系统（NFS）虽然也是分布式的，但是在数据的存储和管理上，存在一些致命的缺点。一是数据的存取单位是文件，文件是存储在单机上，数据的共享性差。二是当很多客户端同时访问NFS服务器时，对网络的压力大，且对服务器的处理能力要求高，极易产生瓶颈效应。三是对数据的操作，需先将数据下载到本地，很难保证数据的一致性。分布式系统是建立在网络之上的软件系统，具有高度的内聚性和透明性。内聚性是指每一个数据库分布节点高度自治；透明性是指每一个数据库分布节点对用户的应用来说都是透明的。根据分布存储和管理的对象，分布式系统分为分布式文件系统和分布式数据库系统两类。2.1.1数据管理技术的发展

HDFS（HadoopDistributedFileSystem）是一个基于Hadoop框架的分布式文件系统，具有高度容错性，适合部署在廉价的机器上。HDFS能提高吞吐量的数据访问，适合处理有着超大数据集的应用程序。HDFS有以下几个基本要素。1.Block(数据块)Block是HDFS中的基本存储单位，Hadoop架构下块的默认大小为64MB。每一个Block对应一个或多个Map的任务。2.NameNode(名称节点)NameNode维护HDFS存储文件数据的元信息，处理来自客户端对HDFS的各种操作的交互反馈。存储镜像(namespaceimage)文件和编辑日志(editlog)文件，这两个文件也会被持久化存储在本地硬盘。2.1.2HDFS概述

3.SecondaryNameNode(从元数据节点)SecondaryNameNode周期性保存NameNode的元数据检查点，这些元数据包括镜像文件FsImage数据和编辑日志editlog数据。如果NameNode节点故障，在NameNode下次启动时，会把FsImage加载到存中。4.DateNode（数据节点）DateNode是文件系统的工作节点，根据客户端或是NameNode的调度存储和检索数据。定期向NameNode发送所存储的块的列表。DataNode启动时会向NameNode报告当前存储的数据块信息，后续也会定时报告修改信息。DataNode之间会进行通信，复制数据块，默认3份，保证数据的冗余性。2.1.2HDFS概述

5.NodeManager（节点管理程序）NodeManager对它所在节点上的资源进行管理(CPU、内存、磁盘的利用情况)。定期向ResourceManager汇报该节点上的资源利用信息。监督Container(容器)的生命周期。监控每个Container的资源使用情况。追踪节点健康状况，管理日志和不同应用程序用到的附属服务(AuxiliaryServic