机器学习课后习题答案.pdfVIP

机器学习（周志华）参考答案

第一章绪论（略）

第二章模型评估与选择

1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训

练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。

一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取

1502

法应该是()。

500

2.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测

为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法

和留一法分别对错误率进行评估所得的结果。

10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也

是一样的，所以错误率的期望是5050%。

留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判

断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。

3.若学习器A的F1值比学习器B高，试析A的BEP值是否也比B高。

4.试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。

查全率:真实正例被预测为正例的比例

真正例率:真实正例被预测为正例的比例

显然查全率与真正例率是相等的。

查准率:预测为正例的实例中真实正例的比例

假正例率:真实反例被预测为正例的比例

两者并没有直接的数值关系。

9.试述卡方检验过程。

第三章线性模型

2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对

数似然函数（式2）是凸的。

如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。

3.编程实现对率回归，并给出西瓜数据集3.0α上的结果

/icefire_tyh/article/details

4.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。

/icefire_tyh/article/details

5.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。

/icefire_tyh/article/details

6.LDA仅在线性可分数据上能获得理想结果，试设计一个改进方法，使其能较好地用于非

线性可分数据。

在当前维度线性不可分，可以使用适当的映射方法，使其在更高一维上可分，典型的方法有

KLDA，可以很好的划分数据。

9.使用OvR和MvM将多分类任务分解为二分类任务求解时，试述为何无需专门针对类别

不平衡性进行处理。

书中提到，对于OvROvR，MvMMvM来说，由于对每个类进行了相同的处理，其拆解出的

二分类任务中类别不平衡的影响会相互抵消，因此通常不需要专门处理。以ECOCECOC编

码为例，每个生成的二分类器会将所有样本分成较为均衡的二类，使类别不平衡的影响减小。

当然拆解后仍然可能出现明显的类别不平衡现象，比如一个超级大类和一群小类。

第四章决策树

4.1.试证明对于不含冲突数据（即特征向量完全相同但标记不同）的训练集，必存在与训练

集一致（即训练误差为0）的决策树。

因为决策树是通过属性来划分，相同属性的样本最终肯定会进入相同的叶节点。一个叶节点

只有一个分类，如果样本属性相同而分类不同，必然产生训练误差。反之，决策树只会在当

前样本集合是同一类或者所有属性相同时才会停止划分，最终得到训练误差为0的决策树。

4.2.试析使用“最小训练误差”作为决策树划分选择的缺陷。

从机器学习最开始就讲起，最小训练误差并不可靠，由于过度学习样本特性最终导致严重的

过拟合，而没有泛化能力。

4.3.试编程实现基于信息熵进行划分选择的决策树算法，并为表4.3中数据生成一棵决策树。

/icefire_tyh/article/details

重写的不剪枝的决策树

/icefire_tyh/article/details

即ID3算法

4.4.试编程实现基于基尼指数进行划分选择的决策树算法，并为表4.2中数据生成预剪枝、

后剪枝决策树，并与未剪枝决策树进行比较。

/icefire_tyh/article/details

即CART算法

4.5.试编程实现基于对率回归进行划分选择的决策树算法，并为表4.3中数据生成一棵决策