hadoop数据分析与处理之一.pdfVIP

数据分析与处理之一（大规模数据分析架构） 2011-12-04 19:41 by Haippy, 22 visits, 收藏, 编辑 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量 数据的时代，数据调查公司IDC 预计2011 年的数据总量将达到1.8 万亿GB，对海量数据 的分析已经成为一个非常重要且紧迫的需求。 大数据分析的分类 按照数据分析的实时性，分为实时数据分析和离线数据分析两种。 实时分析 实时数据分析一般用于金融、移动网络、物联网和互联网B2C 等产品，往往要求系统在数 秒内返回上亿行数据的分析，从而才能达到不影响用户体验的目的。为了满足这样的严苛需 求， 可以采用精心设计的传统关系型数据库组成并行处理集群，或者采用一些内存计算平 台，或者采用 “ 内存 + SDD” 的架构，然而这些无疑都需要比较高的软硬件成本。目前比 较新的海量数据实时分析工具有EMC 的Greenplum、SAP 的HANA、以及Twitter 的开源 数据分析平台Storm 等。 离线数据分析 对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、有哪些信誉好的足球投注网站引擎的 反向索引计算、推荐引擎的计算等，应采用离线分析的方式，通过数据采集工具将日志数据 导入专用的分析平台。但面对海量数据，传统的ETL （extract“抽取”、transform“转换” 、 load“装载” ）工具往往彻底失效，主要原因是数据格式转换的开销太大，在性能上无法满足 海量数据的采集需求。互联网企业的海量数据采集工具，有Facebook 开源的Scribe、Link edIn 开源的Kafka、淘宝开源的Timetunnel 、Hadoop 的Chukwa 等，均可以满足每秒数 百MB 的日志数据采集和传输需求，并将这些数据上载到Hadoop 中央系统上。 按照大数据的数据量，分为内存级别、BI 级别、海量级别三种 这里的内存级别指的是数据量不超过集群的内存最大值。不要小看今天内存的容量，Faceb ook 缓存在内存的Memcached 中的数据高达 320TB ，而目前的PC 服务器，内存也可以超 过百GB 。因此可以采用一些内存数据库，将热点数据常驻内存之中，从而取得非常快速的 分析能力，非常适合实时分析业务。图1 是一种实际可行的MongoDB 分析架构 图1： 用于实时分析的MongoDB 集群架构 MongoDB 大集群目前存在一些稳定性问题，会发生周期性的写堵塞和主从同步失效，但仍 不失为一种潜力十足的可以用于高速数据分析的NoSQL 。 此外，目前大多数服务厂商都已经推出了带4GB 以上SSD 的解决方案，利用内存+SSD， 也可以轻易达到内存分析的性能。随着SSD 的发展，内存数据分析必然能得到更加广泛的 应用。 BI （Business intelligence ）级别指的是那些对于内存来说太大的数据量，但一般可以将其 放入传统的BI 产品和专门设计的BI 数据库之中进行分析。目前主流的BI 产品都有支持T B 级以上的数据分析方案。 海量级别指的是对于数据库和BI 产品已经完全失效或者成本过高的数据量。海量数据级别 的优秀企业级产品也有很多，但基于软硬件的成本原因，目前大多数互联网企业采用Hado op 的HDFS 分布式文件系统来存储数据，并使用MapReduce 进行分析。本文稍后将主要 介绍Hadoop 上基于 MapReduce 的一个多维数据分析平台。 数据分析的算法复杂度 根据不同的业务需求，数据分析的算法也差异巨大，而数据分析的算法复杂度和架构是紧密 关联的。举个例子，Redis 是一个性能非常高的内存Key-Value NoSQL ，它支持List 和Se t 、SortedSet 等简单集合，如果你的数据分析需求简单地通过排序，链表就可以解决，同时 总的数据量不大于内存 （准确地说是内存加上虚拟内存再除以2 ），那么无疑使用Redis 会达到非常惊人的分析性能。 还有很多易并行问题（Embarrassingly Parallel ），计算可以分解成完全独立的部分，或者 很简单地就能改造出分布式算法，比如大规模脸部识别、图形渲染等，这样的问题自然是使 用并行处理集群比较适合。 而大多数统计分析，机器学习问题可以用MapReduce 算法改写。MapReduce 目前最擅长 的计算领域有流量统计、推荐引擎、趋势分析、用户行为分析、数据挖