二零二三年 优质公开课Sklearn一般流程.pptx

Sklearn一般流程;1.理解Sklearn训练过程2.掌握Sklearn训练流程;1.模型训练流程2.数据的处理;传统的机器学习任务从开始到建模的一般流程是：获取数据 - 数据预处理 - 训练建模 - 模型评估 - 预测，分类。本文我们将依据传统机器学习的流程，看看在每一步流程中都有哪些常用的函数以及它们的用法是怎么样的。; 导入sklearn数据集 sklearn中包含了大量的优质的数据集，在你学习机器学习的过程中，你可以通过使用这些数据集实现出不同的模型，从而提高你的动手实践能力，同时这个过程也可以加深你对理论知识的理解和把握。要想使用sklearn中的数据集，必须导入datasets模块。 创建数据集 除了可以使用sklearn自带的数据集，还可以自己去创建训练样本,sklearn中的samples generator包含的大量创建样本数据的方法。我们拿分类问题的样本生成器个栗子。 ; 数据归一化 为了使得训练数据的标准化规则与测试数据的标准化规则同步，preprocessing中提供了很多Scaler： 正则化（normalize） 当你想要计算两个样本的相似度时必不可少的一个操作，就是正则化。其思想是：首先求出样本的p-范数，然后该样本的所有元素都要除以该范数，这样最终使得每个样本的范数都为1。 one-hot编码 one-hot编码是一种对离散特征值的编码方式，在LR模型中常用到，用于给线性模型增加非线性能力。 ;在得到训练数据集时，通常我们经常会把训练数据集进一步拆分成训练集和验证集，这样有助于我们模型参数的选取，一般选取70%的数据作为训练集。 ;在这一步我们首先要分析自己数据的类型，搞清出你要用什么模型来做，然后我们就可以在sklearn中定义模型了。sklearn为所有模型提供了非常相似的接口，这样使得我们可以更加快速的熟悉所有模型的用法。 ;对于分类器，或者说分类算法，评价指标主要有accuracy， [precision，recall，宏平均和微平均，F-score，pr曲线]，ROC-AUC曲线，gini系数。 ;1.掌握机器学习的模型训练过程2.数据处理方法