05-模型选择和评价.pptxVIP

模型选择和评价王秋月中国人民大学信息学院

如何选择模型？对一个给定的有监督学习任务，应该选择哪个学习模型？如何选择该模型的最优参数？如何估计训练好的模型在学习样例之外的数据上可能的性能？

模型评价（1）训练精度（trainingaccuracy）在整个数据集上训练模型并在同一个数据集上测试模型，得到模型的预测结果，和真实结果做比较，计算模型的精度问题：机器学习的目标是期望模型能在学习样例之外的数据上有好的表现（面向未来，而不是过去）最大化训练精度，通常会产生过于复杂的模型，从而导致过拟合，模型不能很好地泛化

010 20NumberofMalignantNodes6040200K=160402010 20NumberofMalignantNodes4K=34K值会影响判定边界

XYModelTrueFunctionSamplesXYX5YPolynomialDegree=1 PolynomialDegree=4PolynomialDegree=15不同复杂度的模型

YModelTrueFunctionSamplesXYYPolynomialDegree=1 PolynomialDegree=4PolynomialDegree=15XPooratTrainingPooratPredictingJustRightXGoodatTrainingPooratPredicting6不同模型的泛化能力

XYModelTrueFunctionSamplesXYXYPolynomialDegree=1PolynomialDegree=4PolynomialDegree=15UnderfittingJustRightOverfitting7欠拟合与过拟合欠拟合和过拟合都会导致较大的泛化误差。

监督学习中的误差来源Error=Bias2+Variance+Noise偏差（Bias）：模型的期望输出值（即用不同数据集训练出的所有模型输出的平均值）与真实值之间的差异。即学习算法的期望预测与真实结果的偏离程度，刻画了学习算法本身的拟合能力。方差（Variance）：用不同数据集训练出的模型的输出值之间的差异。即数据的变动所导致的学习性能的变化，刻画了学习算法的稳定性。

偏差与方差

偏差-方差权衡

YModelTrueFunctionSamplesXYYPolynomialDegree=1PolynomialDegree=4PolynomialDegree=15XHighBiasLowVarianceJustRightXLowBiasHighVariance11偏差-方差权衡

模型评价（2）测试精度（testingaccuracy)把数据集划分成两个子集：训练集和测试集在训练集上训练模型在测试集上测试模型，并计算精度

划分训练集和测试集

测试数据14划分训练集和测试集训练数据

训练模型训练数据评价模型-用模型预测类别标签-和真实值比较-计算误差15测试数据使用训练集和测试集

0.01.02.00.01.02.0x108x1081.0162.03.04.0x108x1081.02.03.04.0训练数据测试数据使用训练集和测试集

0.01.02.00.0x108x1081.02.03.04.0x108x1081.02.03.04.0训练数据测试数据1.0 2.0训练模型17使用训练集和测试集

0.01.0 2.00.01.02.0x108x1081.02.03.04.0x108x1081.02.03.04.0训练数据测试数据预测18使用训练集和测试集

0.00.01.02.0x108x1081.02.03.04.0x108x1081.02.03.04.0训练数据测试数据1.0 2.0计算误差（或精度）19使用训练集和测试集

20导入划分训练集和测试集的函数：fromsklearn.model_selectionimporttrain_test_split划分数据集，测试集数据占全集的30%：train,test=train_test_split(data,test_size=0.3)划分训练