大数据,商业智能的挑战.pdf

大数据，商业智能的挑战 搬运大数据的亨利 2013.4.20 1 目录 1. 大数据背景 2. 开源大数据生态圈和商用大数据生态圈 3. 开源前端生态圈和商用前端生态圈 4. 大数据BI系统的底层技术 5. 大数据BI系统的演变过程 6. 建设大数据BI系统的思考 2 大数据背景 大数据的4V 1. 数据量大(Volume) 2. 速度快(Velocity) 3. 类型多(Variety) 4. 价值密度低(Value) 3 大数据背景 更多的数据？ 谷歌自始至终都认为数据是越多越好，用谷歌产品研发总监Peter Norvig的话就是：更多的数据胜过更好的算法 4 开源大数据生态圈 诞生：谷歌 大数据领袖谷歌，于2003年起发布一系列论文: 1. 《The Google File System 》 2. 《MapReduce: Simplified Data Processing on Large Clusters》 3. 《Bigtable: A Distributed Storage System for Structured Data》 战火被点燃，从此进入大数据时代 5 开源大数据生态圈 诞生：开源大数据生态圈 1. Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次 诞生，早期Hadoop生态圈逐步形成 2. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经 有一些用户 6 开源大数据生态圈 Hadoop MapReduce不适合实时计算？ 1. 任务分配Server不会将信息Push到计算Node ，而是让计算 Node通过心跳去Pull任务 2. 基于框架的通用性，MapReduce代码也会在HDFS中传送，在 各计算Node展开，再通过启动新JVM进程装载并运行 3. 类似的JVM进程启停有5、6次之多 4. Reduce Task只能在所有Map Task完成之后才能启动 7 开源大数据生态圈 中期：谷歌 . 为了高扩展性，我们容忍了高延迟 . 2010年，谷歌又发布了论文: 《Dremel: Interactive Analysis of Web Scale Datasets》 . 论文撰写于2006年 . 平静再次被打破 8 开源大数据生态圈 中期：开源 Caution! 在Hadoop MapReduce框架之外，衍生出了一批低延迟的大数据 分析项目：Cloudera Impala, MapR Drill, HBase Coprocessor, Spark, etc. 9 开源大数据生态圈 后来：谷歌 NoSQL引领着IT