ar值 python csp曲线_原创文档.pdfVIP

ar值pythoncsp曲线--第1页

ar值pythoncsp曲线

CAP曲线就是用绘图的方式比较模型的实际分类效果和最完美

模型，完全随机的对比，分别代表实际曲线，最优曲线，随机曲

线，实际曲线越接近最优曲线则模型的分类效果越好，在风控场景

中为识别违约坏客户的模型精度越高。

AR值等于实际曲线和随机曲线间面积/最优曲线和随机曲线

间面积，即黄色/(黄色+灰色)，代表模型相比于最优模型的

表现程度，AR值在0.7-0.8之间表现良好，0.8-0.9之间非常好，

0.9以上太好了。

实际曲线的横纵坐标,横轴代表随着模型预测阈值从高到低，

预测为正的样本占比总样本数

实际曲线的纵坐标,纵轴代表模型预测阈值以上的样本中，真

实为正的样本数占比纵正样本数。

最优曲线的理解，最优从左下角0开始以一个固定斜率上升，

直到达到1在水平恒为0，直接的理解就是：最优最极端情况下所

有真实为正的样本都被模型预测为阈值最高，由于横轴x要一个一

个增加样本，所以纵轴来一个中一个，直到所有正样本都进入。

最优曲线的斜率，斜率等于坏客户比率的倒数，若测试样本中

有1000条数据，其中100条为正样本(违约坏客户)，模型预测阈值

最高的前100个样本正好全部都是100条坏客户样本，此时cap最

优曲线达到1，斜率就是1/(100/1000)=10。

数据输入

ar值pythoncsp曲线--第1页

ar值pythoncsp曲线--第2页

输入:predictions,labels,cut_point

predictions:为每条样本的预测值组成的集合,预测概率在0-

1之间

labels:为每条样本的真实值(0,1)组成的集合,本例中1是坏

客户

cut_point:KS的阈值分割点的数量

数据预览,左列labels,右列predictions

head-4test_predict_res.txt

0.00.831193

0.00.088209815

1.00

0.00.022157196

python代码实现

importnumpyasnp

importmatplotlib.pyplotasplt

importmatplotlib

defcap_plot(predictions,labels,cut_point=100):

sample_size=len(labels)

bad_label_size=len([iforiinlabelsifi==1])

score_thres=np.linspace(1,0,cut_point)

x_list=[]

ar值pythoncsp曲线--第2页

ar值pythoncsp曲线--第3页

y_list=[]

forthresinscore_thres:

#阈值以上的样本数/总样本数

x=len([iforiinpredictionsifi=thres])

x_list.append(x/samp