数据分析系统方案.pdfVIP

人人好公，则天下太平；人人营私，则天下大乱。——刘鹗

数据分析系统方案

人人好公，则天下太平；人人营私，则天下大乱。——刘鹗

1.数据分析子系统

1.1.概述

利用当前已有的数据库为基础，在该数据库上开发和完善数据库

的库表结构，并在新的数据库表结构的基础上开发应用管理平台。

分析现有数据库的数据结构与原始数据，进行有效数据的清洗，

清理无效（脏）数据，实现将旧数据库的数据迁移到新的数据库中。

1.2.建设目标

平台实现对基础数据的展示，对基层提交的新的数据，可以

录入到指定的数据库表中，如提交的数据为新数据，本地无

数据表，系统将可以通过识别提交数据的数据结构，系统可

自动数据关联，智能字段转义处理，自动创建相应的数据库

数据表结构，实现数据智能转换录入。

平台对基础数据库与新建数据库的数据进行检索，检索结果

可以导出相应报表。

平台可对数据库的所有数据进行统计分析，统计分析的报告

可导出。

平台具有大数据智能分析功能，利用高性能的数据库计算引

擎，以轻量级架构实现大体量数据的计算、分析、提取，对历

史提交数据的智能分析管理与展示。

数据报表与统计报表，可以一键分发，依据权限实现多级授

权共享报告。

平台具有权限管理功能，基于业务需求分类数据包，开放权

限给指定用户，不同的用户拥有不同的权限，各级用户权限

人人好公，则天下太平；人人营私，则天下大乱。——刘鹗

清晰明了，平台具备日记记录与查询功能，可轻松实现数据

变更的追溯工作。

1.3.系统架构

数据分析系统的功能性主要体现在采集和处理两方面，这是最难通过

人工来完成的工作。数据分析系统架构如下图所示：

支撑软件：主要包括中间件、数据库和操作系统。

基础平台：基础平台贯穿整个系统，主要包括用户权限、数据查

询检索、统计分析、备份恢复、日志、基础数据、数据字典等。

数据整合：平台支持对数据进行数据抽取、数据清洗、数据转换、

数据调度、运行监控等。

数据建模：平台提供不同方式的主题表创建方式，并设置主题之

间的关联联系。

分析展现：提供各种图表的设计展现，如：固定报表、DashBoard、

人人好公，则天下太平；人人营私，则天下大乱。——刘鹗

看板等，并支持系统管理辅助功能等。

第三方应用：提供丰富的第三方开发接口用于实现项目实施过程

中的各种集成需求。

系统通过获取大量的业务数据，并对它们进行分类存储以及分析。

系统对原始数据进行处理转换，并存储在数据库中，再根据需求将数

据转换成可利用的模型，进一步的分析。整个系统是层级结构，不同

功能的进行是分层逐步来完成的，因此效率得到了保证，相互干扰的

情况也基本不会出现。

集成了上述核心功能的BI数据分析平台，一方面可以有效支持

技术开发者开展算法研究、模型设计、系统优化等探索性研发工作，

并快速将研发成果集成到平台中，不断提升平台的技术先进性；另一

方面可以有效支持企业级大数据应用系统的运营，以及第三方应用开

发与扩展，促进数据分析解决方案不断成熟与完善。

1.4.功