大数据处理技术与流程.pdfVIP

月入万元陆金所1 元投资送大红包 /action/EfUFnm 获取豆丁赚钱总收入超6 万元的方法 qq1173896236 大数据处理：技术与流程 文章来源：ECP 大数据时间：2013/5/22 11:28:34发布者：ECP 大数据（关注：848） 标签： “大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海 量、高增长率和多样化的信息资产。特点是：数据量大(Volume)、数据种类多样(Variety)、 要求实时性强(Velocity)。对它关注也是因为它蕴藏的商业价值大(Value)。也是大数据的 4V 特性。符合这些特性的，叫大数据。 大数据会更多的体现数据的价值。各行业的数据都越来越多，在大数据情况下，如何保 障业务的顺畅，有效的管理分析数据，能让领导层做出最有利的决策。这是关注大数据的原 因。也是大数据处理技术要解决的问题。 大数据处理技术 大数据时代的超大数据体量和占相当比例的半结构化和非结构化数据的存在，已经超越 了传统数据库的管理能力，大数据技术将是IT 领域新一代的技术与架构，它将帮助人们存 储管理好大数据并从大体量、高复杂的数据中提取价值，相关的技术、产品将不断涌现，将 有可能给 IT 行业开拓一个新的黄金时代。 大数据本质也是数据，其关键的技术依然逃不脱：1）大数据存储和管理；2）大数据检 索使用（包括数据挖掘和智能分析）。围绕大数据，一批新兴的数据挖掘、数据存储、数据 处理与分析技术将不断涌现，让我们处理海量数据更加容易、更加便宜和迅速，成为企业业 务经营的好助手，甚至可以改变许多行业的经营方式。 大数据的商业模式与架构云计算及其分布式结构是重要途径 1）大数据处理技术正在改变目前计算机的运行模式，正在改变着这个世界： 它能处理几乎各种类型的海量数据，无论是微博、文章、电子邮件、文档、音频、视频， 还是其它形态的数据；它工作的速度非常快速：实际上几乎实时；它具有普及性：因为它所 用的都是最普通低成本的硬件，而云计算它将计算任务分布在大量计算机构成的资源池上， 使用户能够按需获取计算力、存储空间和信息服务。云计算及其技术给了人们廉价获取巨量 计算和存储的能力，云计算分布式架构能够很好地支持大数据存储和处理需求。这样的低成 本硬件+低成本软件+低成本运维，更加经济和实用，使得大数据处理和利用成为可能。 2）大数据的存储和管理云数据库的必然 很多人把NoSQL 叫做云数据库，因为其处理数据的模式完全是分布于各种低成本服务器 和存储磁盘，因此它可以帮助网页和各种交互性应用快速处理过程中的海量数据。它采用分 布式技术结合了一系列技术，可以对海量数据进行实时分析，满足了大数据环境下一部分业 务需求。 但我说这是错误的，至少是片面的，是无法彻底解决大数据存储管理需求的。 云计算对关系型数据库的发展将产生巨大的影响，而绝大多数大型业务系统（如银行、 证券交易等）、电子商务系统所使用的数据库还是基于关系型的数据库，随着云计算的大量 应用，势必对这些系统的构建产生影响，进而影响整个业务系统及电子商务技术的发展和系 统的运行模式。 基于关系型数据库服务的云数据库产品将是云数据库的主要发展方向，云数据库（CloudDB）， 提供了海量数据的并行处理能力和良好的可伸缩性等特性，提供同时支持在在线分析处理 （OLAP）和在线事务处理(OLTP)能力，提供了超强性能的数据库云服务，并成为集群环境和 云计算环境的理想平台。它是一个高度可扩展、安全和可容错的软件，客户能通过整合降低 IT 成本，管理位于多个数据，提高所有应用程序的性能和实时性做出更好的业务决策服务。 这样的云数据库要能够满足： A．海量数据处理：对类似有哪些信誉好的足球投注网站引擎和电信运营商级的经营分析系统这样大型的应用而 言，需要能够处理PB 级的数据，同时应对百万级的流量。 B．大规模集群管理：分布式应用可以更加简单地部署、应用和管理。 C．低延迟读写速度：快速的响应速度能够极大地提高用户的满意度。 D．建设及运营成本：云计算应用的基本要求是希望在硬件成本、软件成本以及人力成 本方面都有大幅度的降低。 所以云数据库必须采用一些支撑云环境的相关技术，比如数据节点动态伸缩与热插拔、 对所有数据提供多个副本的故障检测与转移机制和容错机制、SN （Share Nothing）体系结