BI数据中心搭建流程解析.docx

目录一、前言数据中心的整体搭建主要涉及软环境和硬件架构设计两方面，软环境包含数据源、ETL过程、ODS、DWH和前端展现等。硬件架构为使用的服务器、交换机等硬件承载设备。为了有效的利用数据中心，需要在软、硬两方面都要关注，不能出现“短板现象”，使其中之一成为整个系统的瓶颈。硬件部分相对较为简单，确定设备数量、型号和性能指标，进行Infra设计，在系统开发完成之前到位，不可耽误系统测试阶段的进度。在此着重介绍软环境部分。二、总体架构在整个数据中心项目过程中，将会涉及上图中的各个环节，其中针对数据仓库的设计会有两种情况：自顶向下搭建这种搭建方法，是将用户目前所涉及的所有业务系统都统一的进行数据抽取并按照一定规则存放在数据仓库中，搭建好这个整体的数据仓库之后所有的数据利用通过此数据仓库完成。优势：数据仓库一步成型，规划思路明确，数据存放有条理，对日后业务的开展可进行快速响应。劣势：整合所有数据源耗时长、人力、物力、财力投入大，对于完成整体数据仓库之后有利用不上的可能，造成资产浪费。自底向上搭建这种搭建方法，是针对业务分析主题而去逐步整合用户数据源的过程，当企业发展到某一阶段需要对某项业务主题进行分析时，可以通过此种方法整合所涉及的数据源，已达成数据分析利用的目的。优势：有针对性的整合数据源，目标明确，能够有效的避免资源浪费，缩小项目范围，大大提高项目成功率并能充分利用，缩短项目周期，效果立竿见影。劣势：分布实施使得总体项目周期延长，当遇到突发业务变化时，局部整合的数据源有可能不能支持业务的需要，应变能力有所不足。三、数据中心搭建具体流程（架构角度）对于数据中心的搭建流程，从架构角度出发会涉及数据源整合ETL、ODS 或DWH 搭建、多维分析模型建立、数据展现平台搭建、Protal门户的搭建。不论是选择哪种方式进行数据中心搭建，都需遵从以下步骤。1、数据源整合ETL对于现有业务数据源进行整合。有可能当前分析主题只涉及一个数据源，即使如此也许进行ETL 过程。首先，搭建数据仓库或数据集市不应直接使用原有业务数据库，这样既不高效也不安全，数据格式还不统一。其次，数据源的数据质量不能保证，其中有可能存在重复数据、脏数据等问题，在进行数据分析过程时，这些因素是必须要去掉的。所以，进行数据源的整合步骤时，不论是涉及一个还是多个数据源，操作原理是一样的，此过程为必要过程。2、ODS 或DWH 搭建ODS（Operational Data Store）操作型数据存储，是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。DWH（Data warehouse）数据仓库，是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。搭建此层级的目的很明确，为分析主题提供数据支持。有了DWH或ODS+DWH后，就可在此层级之上进行数据建模、展现等工作。3、多维分析模型建立作为商业智能领域的核心，多维建模可以说是非常重要的一个环节。在这个环节中的维度设计、指标划分、度量等多方面的考虑，直接影响数据利用的效率和可实现的功能结果。在建立多维模型前，需要与最终用户进行需求分析，明确用户想要的，并明确能实现的是哪些。将需求工作做好，以免日后项目功能不达标。4、数据展现平台搭建在这个展现平台上包含了决策支持服务层、信息发布服务层、数据展现服务层和联机分析服务层等。对于商业智能的表现手段来说，可以是多种多样的。?通过仪表板、平衡记分卡、图表、报表等多种手段进行展现；使用上钻、下钻、钻透等方式来辅助使用者利用数据信息；通过预设好的数据模型，用户可以自主的进行自定义报表的制定，完成这一切只需要简单的拖、拉、拽操作，便于使用。5、Protal门户的搭建作为整个数据利用的最后一层，担负的责任最为重大，直接将界面呈现给最终用户，一般情况下会使用B/S 结构，通过浏览器进行展现，如其中涉及了一些特殊控件时，可能会通过浏览器调用一个本地应用来支持完成。当然，通过Protal对用户进行安全验证和权限控制也是另外一个很重要的原因，当不同的用户登录后，会验证在不同的用户组中，登录之后展现的界面也是有所差异的，这样就使数据利用系统有一个统一的展现界面，关心不同问题的用户等够有所划分的看到不同展现。四、数据中心搭建具体流程（项目角度）对于数据中心的搭建流程，从项目角度出发会涉及前期调研阶段、需求分析阶段、设计阶段、开发阶段、系统测试阶段、用户测试阶段、上线阶段、结项阶段。1、前期调研阶段在此阶段中，需要大致明确用户需求，对用户环境进行调研，如让用户填写调查问卷等。如采用招标流程，需要仔细研究标书内容，确定工作范围，并能保证功能满足用户需求。此段时间一般不超过2 周工作日，细致的用户调研会安排在需求分析阶段。2、需求阶段在签