中国电子数据中心青岛分中心【综合查询统计平台】总体框架方案.doc

综合查询统计系统 总体解决方案 中国电子口岸数据中心青岛分中心 2007 年 4月  文档目录 1 总体架构 1 1.1 逻辑架构 1 1.2 硬件架构 3 1.3 软件架构 5 1.4 系统建设路线图 6 2 第一阶段建设方案 9 2.1 建设目标 9 2.2 硬件配置 10 2.3 软件配置 11 2.4 开发环境 12 2.5 方案描述 12 2.5.1 统一数据平台体系架构 12 2.5.2 综合查询统计系统ETL流程 14 2.5.3 综合查询统计系统存储 15 2.5.4 综合查询统计系统分析展现 18 2.5.5 综合查询统计系统元数据管理 20 2.6 系统成效 21 3 第二阶段建设方案 22 3.1 建设目标 22 3.2 硬件配置 22 3.3 软件配置 23 3.4 方案描述 25 3.4.1 综合查询统计系统数据库双机集群 25 3.4.2 综合查询统计系统多维分析 25 3.4.3 综合查询统计系统数据挖掘 26 3.5 系统成效 28 4 第三阶段建设方案 28 4.1 建设目标 28 4.2 硬件配置 28 4.3 软件配置 29 4.4 方案描述 31 图表目录 错误！未找到图形项目表。 总体架构 逻辑架构 综合查询统计系统架构可大致分为三个部分：数据获取、数据管理、数据使用，最终实现的框架如下图： （注： ETL指数据抽取、数据转换、数据清洗、数据装载等几个环节的总称） 上图可抽象为下述层次结构图： （注：ODS即Operational Data Store，操作数据存储，是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡，也是数据仓库项目的可选项之一） 数据获取层：即从各个数据源获取数据后导入“统一数据平台”，其中包括：1）数据源：海关系统、自行开发的系统、数据中心开发的系统的数据，未来将还要包括十几个部委的外部数据源；2）ETL：可以自行开发程序实现，也可使用专用的ETL工具实现。 数据管理层：统一的数据存储和管理，分成几种不同的数据层次，它们包括： ODS（操作数据存储）系统、数据仓库和数据集市系统等，根据数据使用分析的目的不同它们拥有各自的数据存储粒度、数据结构、数据关系等属性。主要采用的技术是关系型和多维数据库技术。其中数据的大体流向是：数据源—〉ODS系统—〉数据仓库系统—〉数据集市系统。 数据使用：通过查询、报表、分析、挖掘等方式和手段将有具体意义的具体数据展示给用户和管理人员、决策人员。 硬件架构 综合查询统计系统的统一数据平台涉及大量的数据应用，不仅仅是多个业务系统的数据整合，还涉及到业务系统的历史数据，如：通常原则上会要求我们存储保留数据源中所有的基础数据，以及保留必威体育精装版至5年左右的数据源中的事务型数据。因此，建立完成的本平台将涵盖相当的数据量，按照当前的海关和青岛分中心的业务系统的数据量初步估计（当前大约为400GB数据量，其中实体平台250G、海关风险分析平台150G、海关统一数据平台70G），统一数据平台在3~5年内将达到并超过1TB的数据容量。大数据量必然带来系统的负载压力，也会增加ETL任务的负载。同时，统一数据平台面向大量的业务用户，用户的并发访问也是本系统需要认真考虑的一个重要因素。 系统的访问性能取决于系统的技术架构，统一数据平台力求建设成为一个最优的数据利用和决策分析平台，不但能满足现在的业务需求，还要很好地支持未来应用的扩展性。 除了系统运行性能，安全和可管理性也是本平台建设所要考虑的因素。统一数据平台是一个涵盖ODS、数据仓库及数据集市等组件的复杂的应用平台，管理的简单、方便对于IT技术人员来说是极为重要的因素。 系统最终完成后硬件架构图如下： 使用两台Linux服务器(ServerA_C1和ServerA_C2)通过Oracle RAC 10g组成数据库服务器双机集群，部署Oracle DB 10g数据库，组成统一数据平台的数据服务层，运行ODS系统、数据仓库系统和数据集市系统。 这些系统有的是关系型的存储系统，如ODS和数据仓库系统，有的是多维数据库系统，如某些数据集市系统。对于配置了Oracle OLAP组件的Oracle DB 10g数据库来说，在单一的数据库系统中既支持关系型数据存储，也支持多维的数据存储。此外，从管理、运行维护的角度来看，这种单一的存储架构提供单一的管理手段、单一的安全机制、单一的元数据管理、单一的访问机制。维护管理人员进行备份、数据划分等操作时是面对一个Oracle数据库系统的，而不是分开管理的；技术人员对关系型数据库技术的经验，如数据分区、表压缩等，同样可以在Oracle多维数据存储结构，Oracle OLAP上使用。同