可解释的云平台任务终止状态预测方法研究.pdf

摘要

云平台中，对任务的终止状态进行预测，将不能成功完成的任务提前终止掉，以

确保良好的时间性能，并大量降低系统的资源浪费，提高资源利用率，可以为优化云

平台调度策略提供相应的决策依据。但是，由于深度预测模型的黑盒特性，使其缺乏

透明度、可解释性和可信赖性，即使模型能够产生很好的预测效果，人们依然无法完

全信任模型，因为他们无法理解模型作出某种决策或预测的依据。大规模云平台上运

行着上千万个任务，任务运行过程中所需要的资源多样，并且影响终止状态的因素复

杂，如何在保证任务终止状态预测模型性能的同时，提高预测模型的可解释性，探索

特征与任务终止状态之间的映射机理，优化调度策略，是亟待解决的问题。本文以

Google云平台调度系统Borg为研究对象，利用Borg系统2011年5月相关负载数据展

开研究，提出一种可解释的云平台任务终止状态预测方法，融合XGBoost与(SHapley

AdditiveexPlainations)SHAP技术，从数据、敏感特征选择、可解释的预测方法三个层

面构建安全可信的模型，挖掘特征与任务终止状态之间的映射机理，保证模型能够取

得很好的预测结果，并且解决模型缺乏可解释性的问题。主要对以下两个方面的内容

进行研究：

(1)针对云平台中任务终止状态影响因素复杂，且数据缺乏透明度的问题，构建可

解释的云平台任务终止状态预测特征选择方法，找出敏感特征。通过对SHAP特征重

要性、XGBoost内在特征重要性和置换重要性的结果进行可视化，并对比其在特征选

择方面的性能，最终选择在任务终止状态预测模型中使用SHAP特征重要性。计算

SHAP值绝对值的平均值，并将其作为衡量特征的重要性的依据，实现任务不同终止状

态特征重要性的全局可视化，找出静态属性和动态属性对终止状态影响的重要性，筛

选出对任务终止状态预测模型具有代表性20个的敏感特征，作为特征筛选的依据。

(2)针对任务终止状态预测模型中，特征与终止状态之间的关系缺乏透明度、可解

释性和可信赖性的问题，构建安全可信的任务终止状态预测模型。在平衡模型的性能

和模型可解释性的前提下，对已构建的模型进行事后解释，通过分析特征与终止状态

之间的关系，挖掘特征与任务终止状态之间的映射机理。基于XGBoost与SHAP构建

可解释性强的云平台任务终止状态预测模型，对任务终止状态预测模型建模后的结果

进行解释，使用可视化技术呈现负载特征如何影响模型对不同任务终止状态的预测。

可视化任务的静态和动态属性与终止状态之间的映射关系，进而找出负载特征与任务

终止状态之间的映射机理，可以优化云平台的调度机制。

关键词：云平台，终止状态，特征选择，可解释性，映射机理

ABSTRACT

Inthecloudplatform,predicttheterminationstatusoftasks,andterminatethetasksthatcannotbe

completedsuccessfullyinadvancetoensuregoodtimeperformance.Greatlyreducethewasteofsystem

resources,andimproveresourceutilization,whichcanprovidethecorrespondingdecisionbasisfor

optimizingtheschedulingstrategyofthecloudplatform.However,duetotheblack-boxcharacteristicsof

thedepthpredictionmodel,itlackstransparency,interpretabilityandcredibility.Evenifthemodelcan

producegoodpredictionresults,peoplestillcannotfullytrustthemodel,bec