决策树——开发人工智能的信用卡审批系统教学课件.pptx

3.2 决策树2——开发人工智能的信用卡审批系统 人 工 主讲教师：景妮琴 智 能 决策树— 开发人工智能的信用卡审批系统 目 录 决策树如何分类 构建决策树--信用卡审批系统 过拟合与剪枝 客户ID 是否 拥有房产 婚姻 情况 是否有 未还贷款 是否被批准 发放信用卡 1 否 单身 是 否 2 否 单身 否 是 3 是 单身 否 是 4 是 离婚 否 是 5 否 已婚 否 是 6 否 已婚 否 是 7 否 已婚 是 否 8 否 已婚 是 是 9 是 已婚 否 是 10 否 离婚 否 否 11 是 离婚 是 ？ 决策树如何分类 有监督学习 从给定的数据集，构造一棵决策树 构建决策树—信用卡审批系统 一个节点上的数据属于 同一个类别没有属性 可以再用于分割 自上而下，递归过程 开始时 所有数据 在根结点 选择某个属性对数据集进行划分 决策树原理 使用信息增益最大的属性对数据集进行划分 构建决策树—信用卡审批系统 当数据不可进一步划分 ，终止 可能无法达到 构建决策树—信用卡审批系统 客户数 批准 不批准 10 7 3       概率 0.7 0.3   构建决策树—信用卡审批系统   客户数 批准 不批准 有房产 3 0 无房产 4 3                   构建决策树—信用卡审批系统       客户数 批准 不批准 有房产 3 0 无房产 4 3     E(无房)=0.9852 3 计算各个属性(房产)的信息增益 客户数 批准 不批准 单身 2 1 已婚 4 1 离婚 1 1 构建决策树—信用卡审批系统       客户数 批准 不批准 单身 2 1 已婚 4 1 离婚 1 1   婚姻状况的信息增益： Gain(D,婚姻)=0.0448 构建决策树—信用卡审批系统 3 依次计算每个属性(婚姻)的信息增益       E(已婚)=0.7219 E(离婚)=1   客户数 批准 不批准 有贷款 1 2 无贷款 6 1   构建决策树—信用卡审批系统   构建决策树—信用卡审批系统 有无贷款的信息增益： Gain(D,贷款)=0.1916 E(无贷款)=0.5917 拥有 没有 构建决策树—信用卡审批系统 按房产划分 1，2，5，6，7，8，10 客户ID 是否 拥有房产 婚姻 情况 是否有 未还贷款 是否被批准 发放信用卡 1 否 单身 是 否 2 否 单身 否 是 5 否 已婚 否 是 6 否 已婚 否 是 7 否 已婚 是 否 8 否 已婚 是 是 10 否 离婚 否 否 拥有 没有 客户数 批准 不批准 无房产 4 3 构建决策树—信用卡审批系统 E(无房)=0.9852 1，2，5，6，7，8，10 重复1-4 按房产划分 客户数 批准 不批准 单身 1 1 已婚 3 1 离婚 0 1   构建决策树—信用卡审批系统     客户数 批准 不批准 单身 1 1 已婚 3 1 离婚 0 1 E (单身)=1   E (离婚)=0 E (无房)=0.9852   构建决策树—信用卡审批系统 婚姻状况的信息增益： Gain(无房,婚姻)=0.2359   客户数 批准 不批准 有贷款 1 2 无贷款 3 1   构建决策树—信用卡审批系统   构建决策树—信用卡审批系统 有无贷款的信息增益： Gain(无房,贷款)=0.1281 1，2，5，6，7，8，10 拥有 没有 构建决策树—信用卡审批系统 按房产划分 批准发放 3，4，9 单身 1，2 已婚 5，6，7，8 离婚10 拒绝 Gain(无房,婚姻)=0.2359 Gain(无房,贷款)=0.1281 单身 1，2 已婚 5，6，7，8 有贷款1拒绝 无贷款2批准 无贷款 5、6批准 有贷款 7拒绝 8批准 构建决策树—信用卡审批系统 1，2，5，6，7，8，10 拥有 没有 按房产划分 批准发放 3，4，9 单身 1，2 已婚 5，6，7，8 离婚10 拒绝 客户ID 是否 拥有房产 婚姻 情况 是否有 未还贷款 是否被批准 发放信用卡 1 否 单身 是 否 2 否 单身 否 是 5 否 已婚 否 是 6 否 已婚 否 是 7 否 已婚 是 否 8 否 已婚 是 是 10 否 离婚 否 否 客户ID 是否 拥有房产 婚姻 情况 是否有 未还贷款 是否被批准 发放信用卡 11 是 已婚 是 ？ 无房产 批准发放 单身 离婚 拒绝 有贷款拒绝 无贷款批准 无贷款 批准 有贷款 1拒绝1批准 客户ID 是否 拥有房产 婚姻 情况 是否有 未还贷款 是否被批准 发放信用卡 12 否 已婚 是 ？ 批准 ？ 构建决策树—信用卡审批系统 按房产划分 已婚 过拟合与剪枝 影响分类模型的泛化能力 过拟合导致：