Q_NFHA 02-2019大数据运维标准.pdf

Q/NFHA 02-2019 广东南方海岸科技服务有限公司企业标准 大数据运维标准 2019-08-01 发布 2019-09-01 实施 广东南方海岸科技服务有限公司 发布 Q/NFHA 02-2019 目 录 第一章 概述 1 第二章 范围 1 第三章 规范性引用文件 1 第四章 术语和定义1 第五章 总体要求2 第六章 数据运维的组织架构 3 第七章 故障分级和故障升级流程3 第八章 数据采集保障6 第九章 数据作业保障7 第十章 大数据统一运维平台 8 Q/NFHA 02-2019 大数据运维标准 第一章 概述 为进一步规范大数据运维过程，实现大数据统一运维，为后续大 数据质量保障和分析做好准备，特制定本标准。 第二章 范围 本标准规定了大数据运维要求。 本标准适用于大数据运维标准。 第三章 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文 件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其 必威体育精装版版本 （包括所有的修改单）适用于本文件。 ITU-TY.3600-2015 基于云计算的大数据需求与能力 （Bigdata - Cloud Computing based requirements and capability）。 第四章 术语和定义 ITU-TY.3600-2015规定的，以及下列术语和定义适用于本文件。 1. 大数据 Big Data 大数据是指在可能具有实时性要求的条件下，为实现采集、存储、 1 Q/NFHA 02-2019 管理、分析和可视化的数据量大、类别大的数据集。[ITU-T Y.3600-2015]。 2. Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分 利用集群的威力进行高速运算和存储。 3. 故障 故障是系统不能执行规定功能的状态。通常而言，故障是指系统 中部分元器件功能失效而导致整个系统功能恶化的事件。 4. 挖掘模型 一种对象，其中包含数据挖掘进程的定义和培训活动的结果。例 如，数据挖掘模型可以指定输入、输出、算法及进程的其它属性，并 存放培训活动中收集的信息 （如决策树）。 5. 运维管理 运维管理是指单位采用相关的方法、手段、技术、制度、流程和 文档等,对软硬运行环境、业务系统和运维人员进行的综合管理。 第五章 总体要求 通过标准化来规范运维操作，平台化来落地标准化。通过制定标 准来约束人员操作，最大限度避免因不规范造成的运维事故。 2 Q/NFHA 02-2019 1. 系统规范，主要是约束系统的版本、内核、系统账号等； 2. 部署规范，主要是约束组件的版本、配置等； 3. 扩容和升级规范，主要是用来制定扩容的窗口期等； 4. 任务运行规范，比如说一个任务不能一天24小时跑下去； 5. 监控标准，尽可能的避免规范造成的事故。 第六章 数据运维的组织架构 数据运维的组织架构为均衡模式，中台类的系统、产品或数据交 给运维部管理；创新、探索、变动类的系统或数据交给研发部门管理。 中台类的系统或数据，