大数据处理系统架构及技术.pdf

大数据处理系统架构及技术--第1页

大数据处理系统架构及技术

大数据可通过许多方式来存储、获取、处理和分析。每

个大数据来源都有不同的特征，包括数据的频率、量、速度、

类型和真实性。处理并存储大数据时，会涉及到更多维度，

比如治理、安全性和策略。选择一种架构并构建合适的大数

据解决方案极具挑战，因为需要考虑非常多的因素。

这个“大数据架构和模式”系列提供了一种结构化和基

于模式的方法来简化定义完整的大数据架构的任务。因为评

估一个业务场景是否存在大数据问题很重要，所以我们包含

了一些线索来帮助确定哪些业务问题适合采用大数据解决

方案。

（一）从分类大数据到选择大数据解决方案

如果我们花时间研究过大数据解决方案，那么就一定知

道它不是一个简单的任务。我们首先介绍术语“大数据”所

描述的数据类型。为了简化各种大数据类型的复杂性，我们

大数据处理系统架构及技术--第1页

大数据处理系统架构及技术--第2页

依据各种参数对大数据进行了分类，为任何大数据解决方案

中涉及的各层和高级组件提供一个逻辑架构。接下来，我们

通过定义原子和复合分类模式，提出一种结构来分类大数据

业务问题。这些模式有助于确定要应用的合适的解决方案模

式。我们提供了来自各行各业的示例业务问题。

（二）依据大数据类型对业务问题进行分类

业务问题可分类为不同的大数据问题类型。以后，我们

将使用此类型确定合适的分类模式（原子或复合）和合适的

大数据解决方案。但第一步是将业务问题映射到它的大数据

类型。下表列出了常见的业务问题并为每个问题分配了一种

大数据类型。

表3.1：不同类型的大数据业务问题

业务问大数据问

描述

题题

公用事机器生公用事业公司推出了智慧仪表，按每小时

大数据处理系统架构及技术--第2页

大数据处理系统架构及技术--第3页

业务问大数据问

描述

题题

业：预成的数或更短的间隔定期测量水、天然气和电力

测功耗据的消耗。这些智慧仪表生成了需要分析的

大量间隔数据。

公用事业公司还运行着昂贵而又复杂的大

型系统来发电。每个电网包含监视电压、

电流、频率和其他重要操作特征的复杂传

感器。

要提高操作效率，该公司必须监视传感器

所传送的数据。大数据解决方案可以使用

智慧仪表分析发电（供应）和电力消耗（需

求）数据。

电信：Web和社电信运营商需要构建详细的客户流失模型

客户流交数据（包含社交媒体和交易数据，比如CDR），

失分析交易数以跟上竞争形势。

大数据处理系统架构及技术--第3页

大数据处理系统架构及技术--第4页

业务问大数据问

描述