企业数据治理之数据算力治理方案.ppt

MASTERSTAMP企业数据治理之算力治理方案算力治理-问题分析存量任务数量多、增长快，平台上有大量异常（或无效）任务新增任务无“查重”检测机制，平台存在冗余或相似任务存在没人使用（无价值）的任务，长期空跑平台缺乏任务治理产品数据倾斜等慢任务，缺乏诊断工具，优化工具 计算引擎以MR/Tez为主，Spark引擎使用占比不足5%，算力利用效率不高缺少算力量化指标，任务价值量化算力使用粗放，资源成本意识弱算力使用需要精细化运营专项一：提高有效算力占比①获取无效任务（异常、冗余）②建立治理规则引擎③效果评估④建立“识别-治理-分析”闭环产品专项二：提升平台计算资源利用效率①Hive-Spark迁移工程②hive优化诊断工具③任务分发④在离线混合部署专项三：建立算力增长可控体系①算力量化、任务价值量化②治理效果评估③算力/任务健康度监测④算力管理、资源拆分算力治理-整体架构提升有效算例占比提高算力能效集群计算引擎升级 tez spark在离线服务混部在离线物理集群划分分时错峰复用资源调度底层功能算力采集算力量化任务日志收集任务日志解析支撑单任务诊断工具工具链路任务诊断工具功能无效任务下线问题任务识别重复计算识别相似任务识别报警推送系统报警推送任务白名单用户问题任务优化重复计算缓存相似任务合并核心任务保障API数据地图奥丁 ……数据来源任务价值量化功能核心任务保障调度策略编排算力健康度监控看板算力治理-任务治理流程日志数仓集市业务指标交换Odin数据平台识别引擎（留下有效算力）规则库识别模型（价值分、相似度）成功失败1.进入2.1判定2.2进入计算模型3判定治理策略引擎（治理无效算力）下线修复优化合并收益模型（量化治理效果）用户团队平台4量化治理闭环系统（反馈机制）（治理率、算力收益、健康分、价值分、等效成本）用户参与规则、模型评测平台量化分析5反馈6.1迭代6.3迭代6.2迭代算力量化业务价值数据收集信息采集价值挖掘任务治理规则库沉淀模型治理规则库挖掘价值量化模型完善治理体系规则库迭代识别模型：相似模型、价值量化模型治理策略引擎：优化、合并策略开发收益模型（量化平台/团队/用户治理效果）用户参与/反馈机制规则、计算模型效果评测价值分、健康分治理闭环P1任务价值量化P2完善治理闭环P3冗余计算消除P4相似模型合并核心举措算力治理：HiveSQL向SparkSQL迁移算力治理：Hive优化诊断工具通过调度日志获取任务Applicationid通过Tezui接口获取DAG列表等相关信息LoadingData耗时异常FileMerge耗时异常Map端数据倾斜Reduce端数据倾斜切片耗时异常重复使用大表输入超时任务ID根据问题类型选择优化策略整理制作郎丰利1519算力治理：在离线混部MASTERSTAMP