数据管理工具介绍.docxVIP

??

?

??

数据管理工具介绍

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

数据管理（DataManagement）是一个广泛而模糊的概念，国际数据管理协会（DAMAInternational）将其定义为“为实现数据和信息资产价值的获取、控制、保护、交付以及提升，对政策、实践和项目所做的计划、执行和监督”。该定义包含以下三层含义：（1）数据管理包含一系列业务职能，包括政策、计划、实施和项目的计划和执行；（2）数据管理包含一套严格的管理规范和过程，用于确保业务职能得到有效履行；（3）数据管理包含多个由业务领导和技术专家组成的管理团队，负责落实管理规范和过程。数据管理的其他称谓包括：信息管理（InformationManagement，IM）、企业信息管理（EnterpriseInformationManagement，EIM）、企业数据管理（EnterpriseDataManagement，EDM）、数据资源管理（DataResourceManagement，DRM）、信息资源管理（InformationResourceManagement，IRM）、信息资产管理（InformationAssetManagement，IAM）等。

当企业提及“数据管理”时，他们真正意味着什么呢？笔者认为主要包括云数据管理、ETL和数据集成、主数据管理、参考数据管理、数据分析和可视化五方面：

（1）云数据管理：集成来自组织的云应用程序生态系统的数据的过程。云数据管理的主要区别在于，所有数据存储、接收和处理都发生在基于云的存储介质中；

（2）ETL和数据集成：将数据从数据源加载到数据仓库中，将其转换、汇总和聚合为适合进行深入分析的格式；

（3）主数据管理：描述了一组规程、技术和解决方案，这些规程、技术和解决方案用于为所有利益相关方（如用户、应用程序、数据仓库、流程以及贸易伙伴）创建并维护业务数据的一致性、完整性、相关性和精确性；

（4）参考数据管理：是对定义的数据值域进行控制，包括：对标准化术语、代码值和其他唯一标识符以及每个取值的业务定义的控制；对数据值域列表内部和跨不同列表之间的业务关系控制；对准确、及时和相关参考数据值的一致、共享使用进行控制，以进行数据分类和目录整编；

（5）数据分析和可视化：处理来自大数据源和数据仓库的选定数据，执行高级数据分析，并允许分析师和数据科学家对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据并呈现可视化和仪表板。

在网络高速发展的今天，不知不觉我们走入一个数据爆炸时代，高质量的数据管理工具对于实现数据管理最佳实践至关重要。基于以上观点，笔者把数据管理工具分成五个类别：

（1）云数据管理工具：构建在云上，这些工具通过API、Webhooks或直接数据库连接连接到多个数据源并集成多个数据源；

（2）ETL工具和数据集成工具：ETL工具可以帮助组织从多个数据源加载数据、定义复杂的自动数据转换、测试数据管道以及将数据连续加载到目标数据库或数据仓库，数据集成工具可以在数据从单个数据源移动到可分析的数据仓库或在可分析的数据仓库内时，帮助组织将原始数据转换为干净的、聚合的、可分析的数据；

（3）主数据管理工具：是主数据标准文本发布、主数据全生命周期管理的重要平台，主数据标准的维护流程和管理措施通过管理平台进行系统实现和控制，以保证标准的唯一性和宣贯的及时性，主要包括数据建模、数据整合、数据管理、数据服务、基础管理、标准管理等功能模块；

（4）参考数据管理工具：通常作为主数据管理套件的一部分提供，围绕参考数据定义业务流程，并帮助组织填充参考数据并随着时间的推移进行管理；

（5）数据可视化和数据分析工具：帮助组织探索、分析和可视化大数据集，并生成报告和仪表板，以提取见解并指导业务决策。

下面笔者将对每个类别中的具体工具做简单的介绍。

云数据管理工具

随着存储和带宽变得越来越便宜，越来越多的数据仓库和管理的外向解决方案变得可用。拥有大量数据要存储、筛选和分析的公司现在将定期在云中存储和管理其数据。在过去的5到10年中，云数据管理工具的激增使此工作流成为可能。到目前为止，亚马逊和谷歌等巨头主要领导这一领域，但许多规模较小的公司现在也在为有各种不同数据需求的客户提供工具。有关云数据管理工具如下：

（1）Panoply

Panoply提供云原生自动化数据仓库，便于集成和管理组织的所有数据。主要的特点是：有大量本地数据连接器可供选择，便于一键式数据引入；自动数据引入和预处理可释放IT资源；直观的管理仪表板将猜测从数据管理和预算中消除；用于低维护数据仓库的多节点数据库的自动扩展和维护；用于数据分析和查询的浏览器中SQL编辑器；可连接到常见数据可视化和分析套件，如