大数据治理系列,第一部分大数据治理统一流程模型概述和明确元数据管理策略.pdf

大数据治理系列，第一部分 : 大数据治理 统一流程模型概述和明确元数据管理策略 大数据治理的核心是为业务提供持续的、可度量的价值 在各行各业中，随处可见因数量、速度、种类和准确性结合带来的大数据问 题，为了更好地利用大数据， 大数据治理逐渐提上日程。 大数据治理的核心是为 业务提供持续的、 可度量的价值。 本文主要介绍大数据治理的基本概念和大数据 治理统一流程参考模型的前两步： “明确元数据管理策略”和“元数据集成体系 结构”。 大数据治理概述 （狭义）大数据是指无法使用传统流程或工具在合理的时间和成本内处理或 分析的信息， 这些信息将用来帮助企业更智慧地经营和决策。 而广义的大数据更 是指企业需要处理的海量数据，包括传统数据以及狭义的大数据。 （广义）大数 据可以分为五个类型： Web 和社交媒体数据、机器对机器（ M2M ）数据、海 量交易数据、生物计量学数据和人工生成的数据。 ? Web 和社交媒体数据：比如各种微博、博客、社交网站、购物网站中的数据和 内容。 ? M2M 数据：也就是机器对机器的数据，比如 RFID 数据、 GPS 数据、智能仪 表、监控记录数据以及其他各种传感器、监控器的数据。 ? 海量交易数据： 是各种海量的交易记录以及交易相关的半结构化和非结构化数据， 比如电信行业的 CDR 、3G 上网记录等，金融行业的网上交易记录、 core banking 记录、理财记录等，保险行业的各种理赔等。 ? 生物计量学数据： 是指和人体识别相关的生物识别信息， 如指纹、 DNA 、虹膜、 视网膜、人脸、声音模式、笔迹等。 ? 人工生成的数据：比如各种调查问卷、电子邮件、纸质文件、扫描件、录音和电 子病历等。 在各行各业中，随处可见因数量、速度、种类和准确性结合带来的大数据问 题，为了更好地利用大数据，大数据治理逐渐提上日程。在传统系统中，数据需 要先存储到关系型数据库 / 数据仓库后再进行各种查询和分析，这些数据我们称 之为静态数据。 而在大数据时代， 除了静态数据以外， 还有很多数据对实时性要 求非常高， 需要在采集数据时就进行相应的处理， 处理结果存入到关系型数据库 / 数据仓库、 MPP 数据库、 Hadoop 平台、各种 NoSQL 数据库等，这些数据 我们称之为动态数据。 比如高铁机车的关键零部件上装有成百上千的传感器， 每 时每刻都在生成设备状态信息， 企业需要实时收集这些数据并进行分析， 当发现 设备可能出现问题时及时告警。 再比如在电信行业， 基于用户通信行为的精准营 销、位置营销等，都会实时的采集用户数据并根据业务模型进行相应的营销活动。 大数据治理的核心是为业务提供持续的、可度量的价值。大数据治理人员需 要定期与企业高层管理人员进行沟通， 保证大数据治理计划可以持续获得支持和 帮助。相信随着时间的推移， 大数据将成为主流， 企业可以从海量的数据中获得 更多的价值， 而大数据治理的范围和严格程度也将逐步上升。 为了更好地帮助企 业进行大数据治理， 笔者在 IBM 数据治理统一流程模型基础上结合在电信、 金 融、政府等行业进行大数据治理的经验，整理了大数据治理统一流程参考模型， 整个参考模型分为必选步骤和