大数据处理技术简介.pptx

大数据处理技术简介;;大数据概念; 近年来，一种新的数据密集型应用已经得到了广泛的认同，这些应用的实例包括：网络监控、电信数据管理、Web应用、传感检测等等。在这种数据流模型中，数据以大量、快速、时变（可能是不可预知）的数据流持续到达，如何对海量瞬时流动数据建模并处理，产生了一些新的基础性研究问题。;大数据应用情景一（B2C、C2C与金融）：淘宝、股票等即时交易数据;大数据应用情景三（社交网络）：社交网络即时消息处理;大数据应用情景三（物联网数据流）：传感网、物联网、智慧城市;大数据应用情景四（数据流过滤）：互联网带宽增长;国内外相关研究;国内外相关研究;应用;第一类方法，Hadoop改造： [1] Yingyi Bu等在Hadoop MapReduce工作的基础上设计了HaLoop，主要克服了Hadoop进行迭代计算时需要设置收敛条件以及每次迭代均需要重新加载数据的缺点； [2] 伯克利大学的Tyson Condie等对Hadoop进行改进，设计了Hadoop Online Prototype (HOP)系统，支持连续查询、事件监测以及流处理等功能； [3] Facebook在SIGMOD’ 2011上发表了利用Hbase/Hadoop进行实时处理数据的论文，通过一些实时性改造，力图使hadoop批处理计算平台也具备实时计算的能力。 [4] Google在新一代内容索引系统中放弃了MapReduce，替代者是尚不为人知的分布式数据处理系统Percolator，Percolator是一种增量处理平台，它能持续更新索引系统，无需从头重新处理一遍整个系统。 [5] Wang Lam等开发了类似于Map-reduce框架、专注于快速处理数据的Muppet； 第二类方法，实时云计算系统： [6] MIT等三所高校的研究人员联合研发了第二代分布式流处理系统Borealis； [7] Sheheryar?Malik设计了具有良好错误容忍机制的实时云计算系统；Harmeek Singh Bedi申请了实时云计算系统的专利； [8] Baidu Dstream， 淘宝Beales， Facebook Puma，Twitter Storm，Yahoo！ S4 [9] 2011年组织了以实时云计算和虚拟化为主题的国际讨论组会RTSOAA（Real-Time Cloud Computing and Virtualization）。 [10] 2011年度的Hadoop?China大会一个热点议题就是数据流计算，在MapReduce计算模型风靡全球之后，Stream?Processing将会是下一个研究热点，无论是在工业界还是学术界。 ;;Hadoop家族;开源??具简介---批处理;开源工具简介---实时计算;开源工具简介---全内存查询;;国内相关计算平台;1、每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。 2、量子统计、数据魔方和淘宝指数。 3、Hadoop集群：1500个节点，每天有大约40000个作业对1.5PB的原始数据按照产品需求进行不同的MapReduce计算。 4、Storm集群：处理实时流数据。 ;数据存储引擎：MySQL的MyISAM引擎 统计数据：10TB（分布在20个节点），每天6亿条的增量 节点类型划分： 热节点：SAS硬盘（15000转/分钟） 4.5W/TB 冷节点：SATA硬盘（7500转/分钟） 1.6W/TB 缺点：不能解决全属性选择器问题，这时NoSql是对其的有益补充。;国内相关计算平台;目录;;Storm数据流处理引擎整体架构;;;;;;相关工作;元组跟踪器总体结构;元组跟踪单元（acker）选择;元组跟踪单元（acker）选择;校验值更新策略;弹性可扩展协议;9、春去春又回，新桃换旧符。在那桃花盛开的地方，在这醉人芬芳的季节，愿你生活像春天一样阳光，心情像桃花一样美丽，日子像桃子一样甜蜜。10月-2010月-20Saturday, October 31, 2020 10、人的志向通常和他们的能力成正比例。10:39:5210:39:5210:3910/31/2020 10:39:52 AM 11、夫学须志也，才须学也，非学无以广才，非志无以成学。10月-2010:39:5210:39Oct-2031-Oct-20 12、越是无能的人，越喜欢挑剔别人的错儿。10:39:5210:39:5210:39Saturday, October 31, 2020 13、志不立，天下无可成之事。10月-2010月-2010:39:5210:39:52October 31, 2020 14、Thank you very much for taking