数据挖掘技术和风险管理.docx

数据挖掘技术和风险管理

一、数据挖掘的定义

数据挖掘就是利用人工智能、统计分析以及其它建模方法,从大量不完全的、随机的数据中寻找数据之间的关系和有用的信息。数据挖掘在营销、金融等行业的重要性已经被认识,所以企业一般都建立自己的数据库即客户关系系统(CRM),这为数据挖掘的发展提供了基础。需要指出的是:数据挖掘并不仅仅是技术和算法的组合,它其实更像过程,这个过程的目的在于解决具体的问题或做具体的决策。

数据挖掘的过程一般如下:(1)问题的定义以及数据准备;(2)数据分析以及模型的建立。(3)模型的应用与检验。第一步与第三步因问题的不同而不同,第二步具有一般性因而可以实现自动化。由于实现第二步的方法以及模型可能有多个,最优化的模型可能会因定义的问题以及应用的领域不同而不同。模型建立包括核心以及外部技术,自动化主要在核心之中应用。数据挖掘一般是重复的过程,当数据与模型不再相合时,或数据已经过时了,数据挖掘就得重做。尤其在金融部门,由于金融数据的高变动性,数据挖掘过程更加频繁。这里数据挖掘的定义指按照某种商业目的,确定针对不同商业目的算法和技术,对大量的信息知识和数据进行有效的知识管理的工具。

二、数据挖掘和信用风险管理

数据挖掘目前在信用风险管理上应用得相当广泛,如:信用评分、数据库市场化、客户关系管理等等。从目前的发展情形来看,数据挖掘技术不是信用风险管理的主流方法。但是,从该技术的特点以及信用风险管理的目的和方法来看,应该是信用风险管理中重要的手段。主要表现在如下几个方面。首先,对贷款者进行信用计分。信用计分是个贷业务中的重要方法,它是决定是否给予贷款的基准,信用计分是贷款者的信用级别高低的标志。信用计分卡实际上是一种用于个人信用风险控制的数学模型。它是利用数据挖掘技术对银行积累的大量客户历史

数据进行分析,寻找出有关客户信用风险的特征值和规律,建立相应的数学模型,为新的贷款申请者或已有的客户评估风险。例如申请计分模型专门用于对新申请客户的信用评估,它通过申请人填写的有关身份资料,即可以有效、快速地辨别和划分好/坏客户。

其次,数据挖掘还可以对贷款者的行为计分,例如对信用卡持卡人的消费行为和还款行为进行分析。信用卡的主要利润来源即应收利息已经成为一些银行的利润点,但是利润点的增长需要从大量的个人特征和消费特征中找到特征,需要对信用卡的收入分析、持卡人消费分析、以及循环费用进行分析,对于滞留还款可能是潜在的损失,也可能带来潜在的利润,因此基于统计资料的估值方法不同于以往信用风险管理方法,后者重视的是对一些数理模型的应用,如果模型本身的假设与实际不符,则模型的结果不能取得令人满意的结果。

同时行为记分模型是通过对客户的消费行为进行监控和预测,从而达到评估客户信用风险的目的。行为计分模型可用于信用额度的自动监控和调整、授权以及对坏账的预测。例如,信用卡客户想增加信用卡的限额,那么这位客户的以前的消费及信用模式,就要通过使用行为记分模型进行分析以便获得认可。

最后,在对客户信用计分和行为计分的基础上,客户对银行的贡献度和利润才是信用风险管理的最终目标,这点和数据挖掘的目标一致,因此利润模型将是信用风险管理的重要内容,也是数据挖掘模型的最终目的,即挖掘出有价值的客户。信用卡消费目前的主要利润

来源是信用循环和预先借款利息,但是如何准确的找到合理的客户群就是传统的信用风险管理不能适用,需要从大量的数据对客户群总体分析,客户群风险/收益分析,客户群好坏分析等环节,对于单体客户应该对其效益、风险进行分析,从大量的统计结果找到规律,从而提高利润。

目前,大多数数据挖掘技术集中讨论在信用管理的第一阶段,即对申请者的接受与否进行分类和判断,对顾客的行为计分以及利润模型等相关研究比较少。因此,需要开发高级模型以适应现代风险管理的需要。

三、数据挖掘方法和信用风险管理技术

信用计分模型

设变量x=(x1,x2,…,xp)描述申请者的特征,集合G表示好的客户全体集合,集合B表示坏的客户全体集合。假设对每一个客户期望利润记为L,而若将坏客户分成好客户造成的损失假设为D。pG表示申请者好客户的比例,pB表示申请者中坏客户的比例,p(x|G)表示好客户G中具有属性x的概率,q(G|x)表示具有属性

x的客户是好客户的概率,p(x)表示申请者具有属性x的概率,因此如下关系成立

q(G|x)p(x)=P(x|G)pG,同样,q(B|x)p(x)=P(x|B)pB因此得到 .

按照成本最小法则,希望预期收益不小于预期损失,因此判别准则为Dp(x|B)pB

G≤Lp(x|G)p。定义集合

G

假设概率p(x|G)的密度函数为f(x|G),概率p(x|B)的密