大数据架构和模式(五)对大数据问题应用解决方案模式并选择实现它的产品.docx

HYPERLINK /page/510984/ 大数据架构和模式（五）对大数据问题应用解决方案模式并选择实现它的产品 摘要：本文使用了一个基于场景的方法，概述了可能有助于定义大数据解决方案的解决方案模式。每个场景都从一个业务问题开始，并说明为什么需要大数据解决方案。本文会将一个具体的解决方案模式（由原子模式和复合模式组成）应用到业务场景。这个逐步分析的方法有助于用户确定解决方案所需的组件。在文章的末尾，提供了一些建议使用的典型产品和工具。 　　简介 　　本系列的 HYPERLINK /page/510980/ \t new 第 3 部分 描述了针对最常见的、经常发生的大数据问题及其解决方案的原子模式和复合模式。本文将推荐可以用于架构大数据解决方案的三个解决方案模式。每个解决方案模式都使用了一个复合模式，该模式由逻辑组件构成（参见第 3 部分的介绍）。在本文末尾处，列出了产品和工具清单，它们可映射到每一个解决方案模式的组件。 　　解决方案模式 　　以下各节将介绍可以用于架构大数据解决方案的三个解决方案模式。为了说明这些模式，我们将它们应用到特定的用例（例如，如何检测医疗保险欺诈），但这些模式可以用于解决其他许多业务场景。每个解决方案模式都利用了一个复合模式的优势。在下表中，列出了本文介绍的解决方案模式，以及作为其基础的复合模式。 表 1. 每个解决方案模式所使用的复合模式 解决方案模式 复合模式 HYPERLINK /developerworks/cn/data/library/bd-archpatterns5/index.html \l get 入门 存储和探索 HYPERLINK /developerworks/cn/data/library/bd-archpatterns5/index.html \l gain 获得高级业务洞察 专用和预测分析 HYPERLINK /developerworks/cn/data/library/bd-archpatterns5/index.html \l take 采取下一个最佳行动 可操作的分析 ? 　　用例描述：保险欺诈 　　财务欺诈对金融业的所有领域都带来了巨大的风险。在美国，保险公司每年要损失数十亿美元。在印度，仅仅是 2011 年的亏损总额就达到 3000 亿印度卢比。除了经济损失，保险公司还会失去一些业务，因为客户感到不满意。虽然许多保险监管机构已经定义了框架和流程来控制欺诈行为，但他们往往只是对欺诈做出反应，而不是采取主动措施来预防它们。传统的方法（如循环列入黑名单的客户、保险代理人和员工）并不能解决欺诈问题。 　　本文为大数据解决方案提出了一种解决方案模式，以本系列的第 3 部分中介绍的逻辑架构以及 HYPERLINK /page/510982/ \t new 第 4 部分 中介绍的复合模式为基础。 　　保险欺诈是为了让做出欺诈的当事人或其他关联方获得不正当或非法的好处的行为或疏忽。欺诈行为的种类包括： 保单持有人欺诈和索赔欺诈— 在购买和执行保险产品时对保险公司的欺诈包括提出保险索赔时的欺诈。 中介欺诈— 保险代理人、企业代理、中介或第三方代理人对保险公司或者保单持有人所做的欺诈。 内部欺诈— 保险公司的董事、经理，或其他任何人员或办公室成员对保险公司所做的欺诈。 　　目前的欺诈检测流程 　　保险监管委员会已经建立了反欺诈政策，其中包括明确定义的欺诈行为监控流程、有哪些信誉好的足球投注网站潜在的欺诈指标（并发布列表）的流程，以及与执法部门协调的流程。保险公司配置了专门分析欺诈索赔的工作人员。 　　目前的欺诈检测流程的问题 　　保险监管机构已明确定义了欺诈检测和缓解的流程。传统的解决方案使用的模型基于历史欺诈数据、被列入黑名单的客户和保险代理人，以及有关特定于领域的欺诈的数据。可用于检测欺诈的数据被局制于给定保险公司的 IT 系统和一些外部源。 　　目前的欺诈检测流程大多是手工的，只能处理有限的数据集。保险公司可能无法调查所有指标。通常很迟才检测到欺诈，而且保险公司很难对每个欺诈案例都进行适当的跟进。 　　目前的欺诈检测依赖于对现有欺诈案件的已知情况，所以每一种新型诈骗发生时，保险公司都不得不承担第一次的损失。最传统的方法在一个特定的数据源内工作，无法容纳不断增长的各种不同来源的数据。大数据解决方案可以帮助解决这些挑战，并在保险公司的欺诈检测中发挥重要作用。 　　解决方案模式：入门 　　该解决方案模式基于存储和探索复合模式。它集中处理数据的获得并存储来自企业内部或外部的不同来源的相关数据。在图 1 所示的数据源只是一个示例；领域专家可以识别适当的数据源。 　　因为必须收集、存储和处理来自多个来源的大量不同数据，此业务挑战是大数据解决方案的良好候选场景。 　　下图显示了解决方案模式，