汇报1大数据研究现状探讨42.ppt

第三十页，共四十三页。 第三十一页，共四十三页。 */42 基于云平台（云数据）？ 大数据描述理论、处理与分析架构、应用领域？ 大数据研究现状探讨 沈来信 2013年12月20日 第一页，共四十三页。 */42 大数据是数据库的自然延伸? 忘不掉ACID，舍不得Relation，忽视实际应用 潜意识地奉行“一招鲜”(One Size Fits All) 结构化+半结构化/非结构化数据（二八原则） 管理和处理需求 --落实 “One Size Fits a Bunch” --查询／检索／统计／挖掘 --离线／在线／即时／连续 --本地／远程／“云”? 可回溯的可视化分析 --事务型与分析型 --多领域应用（教育、医疗、交通……） 第二页，共四十三页。 Atomicity+Consistency+Isolation+Durability OSFA 大数据常用的处理框架 流处理（直接处理）和批处理（先存储后处理） 流处理： 数据持续到达，速度快，规模巨大，不永久存储，数据不断变化--》难以掌握全貌； 代表的开源系统：Twitter的storm、Yahoo的S4、Linkedin的kafka 批处理：MapReduce 1) ?将问题分而治之 2）把计算推到数据而不是把数据推到计算，避免数据传输过程中产生的大量通信开销 */42 第三页，共四十三页。 第四页，共四十三页。 */42 0-大数据与云计算、云平台 Hadoop（数据密集型分布式应用，Apache） --分布式数据处理MapReduce（并行计算框架） --分布式文件系统HDFS（google的DFS基础上） --分布式数据库Hbase（Nosql,列,BigTable） --数据仓库工具Hive（Facebook） --分布式锁Zookeeper（Facebook） --大数据分析平台Pig（提供多种接口） --管理工具Ambari（监控、部署、管理） --Sqoop：在集群与传统数据库间的数据传递 第五页，共四十三页。 Goolge 00 分布式集群Hadoop */42 第六页，共四十三页。 01 并行计算框架Mapreduce */42 第七页，共四十三页。 02 分布式文件系统HDFS */42 第八页，共四十三页。 03 分布式NoSql列数据库Hbase 第九页，共四十三页。 04 数据仓库Hive 第十页，共四十三页。 05 脚本语言Pig 第十一页，共四十三页。 Google后Hadoop时代的新三驾马车 Dremel：web数据级别的交互式数据分析系统 列存储、多层次查询树，毫秒级海量数据分析 Caffeine：为Google网络有哪些信誉好的足球投注网站引擎提供支持，能够更迅速的添加新的链接到自身大规模的网站索引系统中，丢弃MapReduce转而将索引放置在分布式数据库BigTable上 Pregel：主要绘制大量网上信息之间关系的“图形数据库” 第十二页，共四十三页。 */42 1-Brighthouse: An Analytic Data Warehouse for ad-hoc Queries PVLDB’08 Dominik Slezak, Infobright, inc.,Poland An Analytic Data Warehouse for Ad-hoc Queries Column-oriented data warehouse with automatically tuned（基于列的自调整数据仓库） Data management：DP、DPN、KN 粗集Rough set + 粒度计算Granular Computing 知识网格Knowledge Grid 优化与执行Optimization and Execution 第十三页，共四十三页。 Data Pack数据块 Data Pack Node数据块节点 Knowledge Node知识网格 */42 DP(Data Pack)、DPN（Data Pack Node）、KN（Knowledge Node） 第十四页，共四十三页。 */42 行存储、列存储比较 第十五页，共四十三页。 数据块（Data Packs） 第十六页，共四十三页。 知识网格（Konwledge Grid） 第十七页，共四十三页。 */42 知识网格（Konwledge Grid） 第十八页，共四十三页。 */42 2-Starfish: A Self-tuning System for big data