某行业数据盘点与数据目录构建研究.docxVIP

GD企业数据盘点与数据目录构建研究

1.GD企业数据管理开展背景及现状

经过多年的信息化建设，GD企业积累了海量的数据资源。目前，GD企业已经建立了专门的组织机构和大数据中心来负责管理数据，通过统一数据中心部署实施，形成了“模型规范统一、数据干净透明、分析灵活智能”的数据服务能力。但相较于互联网、电子商务等领域，GD企业的数据管理仍处于刚起步阶段，跨专业、跨层级的数据共享困难，数据“看不到、读不懂、应用难”等问题凸显，主要体现在以下三个方面：

一是缺乏一套完整的数据台账清单或目录体系，来整体呈现企业数据资产的规模、分布等状况。

二是数据字典是“读懂”业务系统数据库、表和字段的重要基础资料，主要面向技术开发人员，同时业务系统运行态和设计态数据库表不一致、不完整，维护和更新不及时，不能很好地支撑各个部门之间业务上的关联，数据共享和业务协同困难。

三是缺乏统一的数据语言平台，业务人员、数据人员以及技术人员对同一数据的理解存在差异，需要多方的翻译和解读。

导致当前GD企业数据管理水平相对较低的原因很多，归纳起来主要包括以下几点：

一是GD企业相对互联网、电子商务等行业缺乏原生的数据基因。作为传统产业，早已形成了一整套成熟的管理模式，信息化发展只是进一步提升这套管理模式的效率和效果。

二是GD企业开展数据应用的驱动力不够强烈。公用事业行业的特性使其对利润的敏感性与纯商业公司相比较低，导致GD企业对引入新的数据方法、开展大规模的数据应用动力不足而且相对保守。

三是GD企业专业化的管理模式也在一定程度上限制了数据的应用。不同专业条线数据的采集逻辑、统计口径具有独立性，数据应用往往局限在某一专业内，导致不同来源数据间缺乏关联，无法实现跨专业的综合分析，限制了数据价值的发挥。

四是各专业“烟囱式”的信息化发展导致数据管理部门对企业数据的规模、分布和内容等状况没有很好的掌握，统一的数据管理方式无法有效实施，导致企业数据文化的建设缓慢。

２数据管理的内容、根基及意义

广义的数据管理一般包括两个层面的内容：一是对数据的管控，先管起来并管好，让企业数据更加准确、一致、完整、透明、安全，没有歧义，方便获得，来源统一，降低采集、开发、管理、沟通和使用中的成本；二是数据资产的应用，目的是使企业数据的使用更为人性化、易用、快捷、智能，从而提升企业管理层和业务人员根据数据促进管理、进行业务决策的水平。

业界对数据管理理论方面的研究，比较成熟的包括DAMA数据管理职能框架、DGI数据管控框架、CMMI数据管理成熟度模型（DMM）、IBM企业数据管理能力成熟度模型以及毕马威、普华永道等国际大型咨询公司发布的细分行业数据管理体系架构，我国还有全国信标委大数据标准工作组发布的数据管理能力成熟度评价模型（DCMM）等。虽然数据管理方面的理论研究已经比较充分，但如何从理论走向实践却是一个不小的挑战。

任何高楼大厦的建立，都离不开坚实的地基，同理，数据管理无论运用何种理论落地开展，都必须先掌握数据，了解数据的全貌，这样才能选择合适的方法进行有效的管理。而要了解并掌握数据全貌，就必须对业务、数据以及系统等情况进行全面梳理和盘点，掌握数据资源的状况和特点，构建企业数据资源目录，面向业务人员、技术人员和管理人员，统一数据语言，支撑泛在电力物联网建设。

3数据盘点的做法

通过开展数据盘点，厘清、补充和完善业务系统数据库、数据表、字段等数据对象，提升数据库表、字段信息的可读性和可用性；再构建数据目录，支撑数据的快捷查询、定位、应用，统一形成企业数据共享应用、质量安全等管理的基石，为业务人员、技术人员、管理人员及领导层提供数据服务。

围绕数据采集、标识、完善等要素，结合数据盘点工具总结提炼形成一套成熟做法，即“数据盘点八步法”，用于实现数据盘点、目录构建的落地实施。数据盘点八步法如图1所示。

第一步：信息收集。

系统实际运行态数据是数据盘点的基础，在技术实现方面，需要通过工具与各个业务系统进行对接，以实现元数据的自动采集。因此，需要明确采集业务系统范围，为了保障工作的顺利进行，先行选取营销、设备等不同典型代表专业的信息系统做试点。

通过制定模板，编制《数据盘点信息收集模板》，明确业务系统的部署方式、系统规范名称、所属业务部门等基本信息以及数据库类型、数据运行版本、数据IP地址等数据库信息作为采集内容，下发至业务部门。业务部门配合填写“数据盘点信息收集模板”，指定数据盘点部门接口人员、技术支撑人员，填写系统基本信息?数据库信息?工具配置信息等内容并反馈。

图１数据盘点八步法

第二步：资源获取。

依据数据盘点信息收集表，配置数据盘点工具与业务系统链接，通过工具对各个系统进行元数据采集配置，业务部门技术支撑人员配合，主要采集对象包括系统数据库、数据表、字段以及报表等，采集结果作为后续有效数据表