数据治理对运维数据体系的思考与启发.docxVIP

数据治理对运维数据体系的思考与启发 【主要观点】 运维数据分析需要借鉴当前传统大数据领域的数据治理经验，提高资源投入产出比，少走弯路，少跳坑。 运维数据体系包括“技术平台、应用场景、数据治理”三部分，运维数据治理的目标是让运维数据更好用， 用得更好。 运维数据分析场景围绕在“增强业务连续性保障、提升软件交付效率、提高IT服务质量、辅助提升客户体验”四点，涉及“监控、日志、性能、配置、流程、应用运行”6类数据。 运维数据治理主要包括元数据、主数据、数据标准、数据质量、数据模型、数据安全、数据生命周期7部分。 运维数据治理直击实际问题，以应用场景为驱动，选择必要的治理内容，有侧重、有步骤的推行运维数据治理，而非大张旗鼓的搞个运维数据治理项目（有人、有钱的背景下忽略这个观点）。 运维数据治理可以考虑采用“摸家底、建标准、促消费”三个步骤。 【正文】 今天，领先的数字原生企业不断用数字化手段颠覆传统行业，传统行业内领先的企业也在积极拥抱数字化，国家也适时的将“数据”列为生产要素参与分配，推动了以数据为关键要素的数字经济进入了新时代。站在企业内运营后台的运维部门，运维属于数据密集型工作，团队的价值创造都是在运维数字化工作空间中运作。 在运维数字化工作空间中，运维利用各种代理，将人与机器、软件系统连接在一起，通过线上化的运维流程或规程将参与者的运维协同形成连接，再基于“组织、流程、平台”能力组装连接成为运维场景，构成了运维的数字化工作空间。今天，如果运维失去了对运维数据的控制，运维连续性保障将失控，更谈不上提升IT服务质量、加快IT交付速度、辅助提升客户体验的价值创造。运维数字化空间与滴滴的出行数字化空间类似，滴滴用手机定位这个超级传感器，将乘客、司机、汽车三个参与者做了一次连接，通过数字地图将出发点，目的地、路况、路线图与参与者又做了一次连接，再通过实时的打车、坐车、评价、信用等运营模式做了连接，形成一个出行的数字化空间。 虽然我们正在运维的数字化工作空间中协同运作，但我们需要正视的是我们对运维数据的认识及应用还处于皮毛，虽有理念但缺乏必要的、可执行的方法。随着运维数据平台的建设，将极有可能出现当前大数据领域出现的数据孤岛、数据不可用、数据质量不高、融合应用难、有数据不会用等诸多问题。上述问题，在当前运维领域资源投入不足显得尤其重要。如何借鉴大数据领域数据治理的经验，反思运维数据平台建设应该关注的问题，减少不必要的坑，做好运维数据治理，让运维数据更好用，用得更好，完善运维数字化工作空间，是本文的目的。 1、数据治理背景 从1997年“大数据”概念从NASA武器研究中心第一次提出，到2001年gartner提出大数据模型，到2004年google推出的大数据技术论文，到接下来大数据、人工智能、云计算等技术的广泛应用，再到今天数字时代，企业已逐渐了解数据所蕴含的价值，对数据的重视程度越来越高，投入大量资源进行大数据研发与应用。但我们必须承认，国内很多金融企业在大数据技术应用前并不是很重视数据治理，出现像投入大量资源建设大数据平台，但用的时候又发现报表不准、数据质量不高，导致项目没有达到预期效果的普遍性问题。上述问题促进企业反思，发现在数据从采集、存储、计算、使用过程中，少了数据管理的步骤，即数据治理缺失。今天，数据治理已经被企业广泛认可为必要的基础性工作，以下整理一下数据治理所要解决的痛点： 首先，信息孤岛，有数不能用。数据孤岛可能存在掌握数据的人主观上不愿意共享，也有客观上担心数据共享存在敏感性问题，或数据与数据关联性不够导致不能有效连接。 第二，数据质量不高，有数不好用。没有统一的数据标准导致数据难以集成和统一，没有质量控制导致海量数据因质量过低而难以被利用，没有能有效管理整个大数据平台的管理流程。 第三，数据不可知，有数不会用。不知道数据平台中有哪些数据，也不知道这些数据和业务的关系是什么，不知道平台中有没有能解决自己所面临业务问题的关键数据。 第四，数据服务不够，有数据不可取。用户即使知道自己业务所需要的是哪些数据，也不能便捷自助地拿到数据，相反，获取数据需要很长的开发过程，导致业务分析的需求难以被快速满足，而在数字时代，业务追求的是针对某个业务问题的快速分析。 在运维领域，运维数据分布在大量的机器、软件、“监管控析”工具软件上，除了上面大数据领域提到的信息孤岛、质量不高、数据不可知、数据服务不够的痛点外，运维数据还有以下突出痛点： - 资源投入不够：从组织定位看，运维属于企业后台中的后台部门，所做的事甚至都很难让IT条线的产品、项目、开发明白“系统架构越来越复杂、迭代频率越来越高、外部环境严峻等等需要持续性的运维投入”，更不要说让IT条线以外部门理解你在做的事，在运维的资源投入通常是不够的。所以，运维数据体系建设要强调投入产出比，