大数据平台数据管理设计方案.pdfVIP

大数据平台数据管理设计方案--第1页

大数据平台数据管理设计方案

数据源层，主要用来管理各类数据源，数据分散到统计库、资源库、需求库、

专家库以及企业库等等。

数据处理层，主要包括元数据、数据标准、数据质量。元数据可进行元数据采

集、血缘分析、影响分析、全链分析，元数据变更管理、绘制数据地图等；数据标

准可定义数据标准、标准落地、标准评估监控，及标准版本管理等；数据质量可

管理质量规则、数据模型，及数据质量方案。将这三项静态备份后再经过抽取、

清晰、筛选、转换再进行入库这5个步骤，最后将处理完之后的数据进行集中存储

至数据存储层。

数据存储层，将经过数据处理后的数据经过数据转换接口模块输送到事实数

据、数据仓库、数据集市、维度数据进行存储。

数据共享层，主要包括管理决策支撑服务、科技资源信息管理服务、科技业务

应用集成服务。管理决策支撑服务可进行专题定制、资讯推送、行情研究等；科技

资源信息管理服务包括文献查询、信息跟踪、专利分析等；科技业务应用集成服务

包括科技统计、资源调查、需求征集等功能。

应用层，该层主要通过平台便捷的子系统应用服务功能，从而改善决策支撑、

缩减管理成本、降低数据风险、提升数据价值，并提供数据公开等。

数据管理包括对数据各个维度的管理，大致包括以下几个方面：数据标准管

理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数

据价值管理、数据共享管理。

数据标准管理：

具体实施过程有：理解数据标准化需求；构建数据标准体系和规范；规划制定

数据标准化的实施路线和方案；制定数据标准管理办法和实施流程要求；建设数据

标准管理工具，推动数据标准的执行落地；评估数据标准化工作的开展情况。

第1页

大数据平台数据管理设计方案--第1页

大数据平台数据管理设计方案--第2页

数据标准管理的目标是通过统一的数据标准制定和发布，结合制度约束、系统

控制等手段，实现企业大数据平台数据的完整性、有效性、一致性、规范性，推动

数据的共享开放，构建统一的数据资产地图，为数据资产管理活动提供参考依据。

数据模型管理：

定义和分析企业数据需求；定义标准化的业务用语、单词、域、编码等；设计

标准化数据模型，遵循数据设计规范；制定数据模型管理办法和实施流程要求；建

设数据模型管理工具，统一管控企业数据模型。

数据模型是数据资产管理的基础，一个完整、可扩展、稳定的数据模型对于

数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内

部各种业务主体之间的数据相关性，使不同部门的业务人员、应用开发人员和系

统管理人员获得关于企业内部业务数据的统一完整视图。

元数据管理：

理解企业元数据管理需求；开发和维护元数据标准；建设元数据管理工具；创

建、采集、整合元数据；管理元数据存储库；分发和使用元数据；元数据分析（血

缘分析、影响分析、数据地图等）。

元数据管理内容描述了数据在使用流程中的信息，通过血缘分析可以实现关

键信息的追踪和记录，影响分析帮助了解分析对象的下游数据信息，快速掌握元

数据变更可能造成的影响，有效评估变化该元数据带来的风险，逐渐成为数据资

产管理发展的关键驱动力。

主数据管理：

理解主数据的整合需求；识别主数据的来源；定义和维护数据整合架构；实施

主数据解决方案；定义和维护数据匹配规则；根据业务规则和数据质量标准对收集

到的主数据进行加工清