大数据汇报ppt(内部精华 经典.pptVIP

* 非传统的分析 传统的统计方法基于一种假设—检验模式，即提出一种假设，设计实验来收集数据，然后针对假设分析数据。该任务常常需要产生和评估数千种假设，因此需要自动地产生和评估假设。数据挖掘所分析的数据集通常不是精心设计的实验的结果，并且它们通常代表数据的时机性样本，而不是随机样本，同时也可涉及非传统数据类型和数据分布。 大数据从何而来，互联网技术发展现状？ 什么是大数据、云计算与大数据有什么关系、大数据类型？ 大数据如何获取、存储、处理、分析的技术？ 大数据怎么用、未来发展趋势？ Question 互联网发展趋势 * * 风云变幻中…… * * 1.大数据 (Big Data) 所谓“大数据”（big data）指的是这样一种现象：一个公司日常运营所生成和积累用户行为数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、检索、共享、分析和可视化等方面。”这些数据量是如此之大，已经不是以我们所熟悉G或T为单位来衡量，而是以P、E或Z为计量单位，所以称之为大数据。 大数据的4V特性 体量Volume 多样性Variety 价值密度Value 速度Velocity 非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义 大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等） 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效 2.什么是云计算？ 云计算将计算任务分布在大量计算机构成的资源池上，是各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。 云计算的“云”就是存在于互联网上的服务器集群上的资源，它包括硬件资源（服务器、存储器、CPU等）和软件资源（如应用软件、集成开发环境等）本地计算机只需要通过互联网发送一个需求信息，远端就会有成千上万的计算机为你提供需要的资源并将结果返回本地计算机。 3.大数据类型：结构化与非结构化数据 数据模型： 结构化数据：二维表（关系型） 半结构化数据：树、图 非结构化数据：无 结构化数据：先有结构、再有数据 半结构化数据：先有数据，再有结构 虚拟数据库 信息管理系统（HIS） 电子病历 * 销售管理系统 * 关系数据库曾经是万能的 关系数据模型 CRM客户关系管理 实时监控平台 远程监护平台 Google 大数据处理技术 作用： - 成本降低，能用PC机，不用大型机和高端存储 - 软件容错硬件故障视为常态，通过软件保证可靠性 - 简化并行分布式计算，无须控制节点同步和数据交换 - Google文件系统GFS(Google File System) - 并行数据处理MapReduce - 结构化数据表BigTable - 分布式锁管理Chubby 技术变革 云计算：把集中的运算分散开来 物联网：把分散的设备连在一起 Hadoop：把大数据切成小模块 大数据处理技术——Hadoop 开源Apache项目，灵感来源于Google的三篇论文：BigTable、MapReduce、GFS； Hadoop核心组件包括： -分布式文件系统（HDFS） -分布式数据库存储系统（Hbase） -分布式计算构架（MapReduce） 使用Java编写 运行平台：Linux HDFS 体系架构 HDFS： - 分布式文件存储系统，存储海量的数据； - 数据冗余，硬件容错； - 流式的数据访问； - 存储大文件; - 适合数据批量读写，吞吐量高；适 一次写入，多次读取，顺序读写。 - 不适合交互式应用，低延迟很难 满足不支持多用户并发写相同文件。 HDFS 分布式文件系统 大数据系统 整体架构 Data Value ： 数据挖掘与分析 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但潜在的有用信息和知识的过程。 数据挖掘与分析 知识发现（KDD）是从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的过程。 数据挖掘是数据库知识发现（KDD）中不可缺少一部分 数据挖掘基本方法 预测建模：将已有数据和模型用于对未知变量的语言。（1）分类，用于预测离散的目标变量（2）回归，用于预测连续的目标变量 关联分析：反映一个事物与其他事物之间的相互依存性和关联性。用来发现描述数据中强关联特征的模式。 聚类分析：发现紧密相关的观测值组群，使得与属于不同簇的观测值相比，属于同一簇