大数据一些基础概念.docx

一、大数据 ? 1、什么是大数据？ ? ? 大数据（Big data或Megadata）：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。 ? 2、大数据特点 ? ? ①Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。 ? ? ②Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。 ? ? ③Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。 ? ? ④Velocity：数据增长速度快，处理速度也快，时效性要求高。比如有哪些信誉好的足球投注网站引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。 ? ? ⑤Veracity：数据的准确性和可信赖度，即数据的质量。 二、数据仓库 ? 1、什么是数据仓库？ ??????在计算中，数据仓库（DW或DWH）也称为企业数据仓库（EDW），是用于报告和数据分析的系统，被视为商业智能的核心组件。DWs从一个或多个不同源的综合数据的中央储存库。他们将当前和历史数据存储在一个地方，用于为整个企业的工作人员创建分析报告。 ? 2、数据仓库两种操作方式的特点 ????①在线分析处理（OLAP）的特点是交易量相对较低。查询往往非常复杂，涉及到聚合。对于OLAP系统，响应时间是一种有效性度量。数据挖掘技术广泛使用OLAP应用程序。OLAP数据库以多维模式（通常为星型模式）存储汇总的历史数据。与数据集市相比，OLAP系统通常具有数小时的数据延迟，而数据集市预计延迟将接近一天。OLAP方法用于分析来自多个来源和视角的多维数据。OLAP中的三个基本操作是：总结（合并），钻取和切片和切块。 ? ?②联机事务处理（OLTP）的特点是大量短暂的在线事务（INSERT，UPDATE，DELETE）。OLTP系统强调非常快速的查询处理并保持多访问环境中的数据完整性。对于OLTP系统，有效性以每秒交易次数来衡量。OLTP数据库包含详细和当前的数据。用于存储事务数据库的模式是实体模型（通常是3NF）。规范化是对在该系统中数据建模技术的规范。 三、ETL与DM的区别 ?????ETL/Extraction-Transformation-Loading——用于完成DB到DW的数据转存，它将DB中的某一个时间点的状态，“抽取”出来，根据DW的存储模型要求，“转换”一下数据格式，然后再“加载”到DW的一个过程，这里需要强调的是，DB的模型是ER模型，遵从范式化设计原则，而DW的数据模型是雪花型结构或者星型结构，用的是面向主题，面向问题的设计思路，所以DB和DW的模型结构不同，需要进行转换。　　　 ? ? ?DM/Data Mining/数据挖掘——这个挖掘，不是简单的统计了，他是根据概率论的或者其他的统计学原理，将DW中的大数据量进行分析，找出我们不能直观发现的规律。 四、Hadoop 1、什么是Hadoop？ ? ? ? ??维基百科上面，Hadoop的定义是：一个用java语言编写的便于大型数据集合的分布式储存和计算的软件框架。简单来说，这是计算机领域的一个开源软件，任何程序开发者都可以看到它的源代码，并且进行编译。它的出现让大数据的储存和处理一下子变的快了很多，也便宜了很多。 2、Hadoop特点是什么？ ? ? ? ①高效率（Efficient）：分布式云计算，采用标准x86架构服务器大规模集群实现，每个模块都是一个离散的处理单元，使用并行计算技术，及群内各计算节点负载均衡，当某节点负荷过高时，可智能的将负荷转移到其他节点，并支持节点线性平滑扩展；分布式云存储，采用x86服务器的本地硬盘实现，使用分布式文件系统，每份数据至少保存在3个节点，保证存储设计的性能和可靠性目标。 ? ? ? ②可靠性（Reliable）：能搞自身的维护数据的多个成本，并且在任务失败是自动的重新部署计算任务 ? ? ? ③可扩容性（Scalable）：能可靠的储存和处理PB级的数据 ? ? ? ④成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 想了解更多，北大青鸟佳音校区欢迎你的加入。 本文内容