大数据存储与处理：要点大题.docVIP

大数据：指的是所涉及的数据集规模已经超过了传统数据库软件的获取、存储、管理和分析的能力。 大数据的产生：三个阶段：运营式系统阶段，被动存储在数据库中；用户原创内容阶段，web2.0，主动；感知式系统阶段，感知式系统的广泛使用。 物联网架构：三层，感知层、网络层、应用层。 关系： 物联网，移动互联网再加上传统互联网，每天都在产生海量数据，而大数据又通过云计算的形式，将这些数据筛选处理分析，提取出有用的信息，这就是大数据分析。 大数据存储系统的分类： 分布式数据库，存储结构化数据如Spanner, Oceanbase, RDS； 分布式文件系统，存储非结构化数据，如HDFS、GFS、TFS； NoSQL(Not Only SQL)数据库：键值存储，如Redis，类似Hash表，存储半结构化数据，常用于分布式缓存；列存储，如HBase、Bigtable，结构松散，单表操作，不支持多表连接。 大数据的三大关键问题：存储(容量-NAS等、吞吐量-RAID)、计算(多核、并行)、容错。 容错：数据容错、计算任务容错(故障检测、计算数据定位与获取、任务迁移)。 RAID0：并行磁盘；RAID1：镜像冗余；RAID10:1+0；RAID5：校验冗余。 Hadoop的特点：扩容能力、成本低(普通机器)、高效率(在数据所在的节点并行计算)、可靠性(冗余、自动重新部署失败任务)。 缺点：用Java实现，Java的IO处理虽然没有性能瓶颈，但是对于CPU密集型的任务是一个麻烦， 因此，有些算法效率不会提高很多。 进程：Master Node：Namenode、Secendary Namenode、Jobtracker； Slave Node：Tasktracker、Datanode. MapReduce流程：把(job的)输入拆分成固定大小的splits，每个split(默认对应1个block的大小)对应一个map task，分发到各节点→map过程(本地)：把原数据转换为键值对的形式，并去除不需要/错误的数据；每个map任务有一个内存缓冲区(100mb)，写入数据达80%时spill(先在缓冲区预排序)到本地磁盘，键值对按key排列组合（sortCombiner：一次简单的reduce，合并相同的key）→送入(其他结点)进行reduce，reduce获取map输入的过程是同步多线程进行的(copymerge)。 job：包括数据、M/R程序、配置信息。把job拆分成map和reduce tasks. TaskTracker每隔3秒向 JobTracker发送心跳询问有没有任务可做，如果有，让其派发任务给它执行。 作业调度：默认先进先出FIFO；支持公平调度(支持多个队列，每个队列可配置一定的资源量，同一队列中的作业公平共享队列中所有资源)、容量/计算能力调度(多队列，每个队列中FIFO，对同一用户提交的作业所占资源量进行限定)。 Google为什么不采用传统的技术，而是mapreduce、bigtable、GFS，功能分别是什么？ (1)GFS：Google特有的环境与负载需要。Google主要处理的数据如爬取的网页、访问日志，计算如词频计算、倒排索引等，特点是单个运算简单、数量庞大、数据相对独立。 GFS是一种分布式文件系统，用集群方式提升系统整体容量，支持高吞吐量(顺序读写、数据存储的基本单元大)。基于大量安装有Linux操作系统的普通PC构成的集群系统，整个集群系统由一台 Master（通常有几台备份）和若干台ChunkServer构成。GFS中文件被分成固定大小的Chunk，分别存储在不同的ChunkServer 上，每个Chunk有多份（通常为3份）拷贝，也存储在不同的ChunkServer上。Master负责维护GFS中的 Metadata，即文件名及其Chunk信息。客户端先从Master上得到文件的Metadata，根据要读取的数据在文件中的位置与相应的 ChunkServer通信，获取文件数据。 (2)BigTable：GFS是文件系统，不适合结构化数据的存储和访问；不适合使用RDBMS,不能满足要求海量结构化数据存储需求 ：存储数据的多样性与复杂性、海量的处理请求、高吞吐和高并发、成本与控制力、稀疏(很多列无数据且只经常访问少量)。 是一种(非关系型、NoSQL)分布式数据库。是一个经过排序后的分布式的、稀疏的、多维映射表，数据以键/值映射的形式组织，数据索引由Row/Column Key和Timestamp组成。 (3)MapReduce：PR算法需要执行行列数以亿为单位的矩阵相乘，单机运算所需的时间过长。 是一种编程模型，用于大规模数据集的并行运算。把一个大的计算任务