5决策树与随机森林.ppt

目标任务与主要内容;决策树与随机森林;决策树的实例(Weka自带测试数据);复习：熵;对熵的理解;联合熵和条件熵;推导条件熵的定义式;相对熵;互信息;计算H(X)-I(X,Y);整理得到的等式;强大的Venn图：帮助记忆;决策树示意图;决策树 (Decision Tree) ;决策树学习算法的特点;决策树学习的生成算法;信息增益;基本记号;信息增益的计算方法;经验条件熵H(D|A);其他目标;讨论(一家之言);三种决策树学习算法;决策树的例子;决策树的生成过程;决策树的生成过程;决策树的生成过程;决策树的生成过程;决策树的生成过程;决策树的生成过程;决策树的生成过程;决策树的生成过程;决策树的生成过程;决策树的过拟合;Bootstraping;Bagging的策略;Another description of Bagging;Bagging;Bagging的结果;随机森林;应用实例：Kinect;随机森林/Bagging和决策树的关系;回归问题;使用Bagging;附：局部加权线性回归;附：线性回归与局部加权回归;投票???制;贝叶斯投票机制;投票机制举例;一种可能的方案;评价指标;混淆矩阵(Confusion Matrix);误分率Error Rate：(FN+FP) / C 准确度Accuracy ：(TP+TN) / C 查准率Precision：TP / (TP + FP) 真正类率(true positive rate ,TPR)：TP/(TP+FN) 查全率Recall、击中概率，收益(benefits) 假正类率(False Positive Rate, FPR)：FP/ (FP + TN) 虚报概率，代价(costs) 思考：可否按此模式，定义“真负类率TNR”？ ;使用TPR和FPR分析二分类模型;ROC曲线;ROC曲线的分析;ROC曲线实例;使用ROC曲线评价分类器;参考文献; 谢谢大家！ 恳请大家批评指正！