《Python数据分析与挖掘实战》数据挖掘算法基础.pptxVIP

第5章 数据挖掘算法基础 数据挖掘算法基础 1聚类目录分类与回归2关联规则3智能推荐4时间序列5 分类算法构造一个分类模型，模型的输入为样本的属性值，输出为对应的类别，将每个样本映射到预先定义好的类别。回归算法则是建立两种或两种以上变量间相互依赖的函数模型，然后使用函数模型预测目标的值。常用的分类算法与回归算法 常用的分类与回归算法：常用的分类算法与回归算法算法名称算法描述回归分析回归分析是确定预测属性（数值型）与其他变量间相互依赖的定量关系最常用的统计学方法。包括线性回归、非线性回归、Logistic回归、岭回归、主成分回归、偏最小二乘回归等模型决策树决策树采用自顶向下的递归方式，在内部结点进行属性值的比较，并根据不同的属性值从该结点向下分支，最终得到的叶结点是学习划分的类最近邻分类最近邻分类是一种典型的“懒惰学习”算法，基于指定的距离度量，找出测试样本的最近邻，并基于投票法对测试样本进行分类支持向量机支持向量机的基本思想是在样本空间或特征空间中，构造出最优超平面，使得超平面与不同类样本集之间的距离最大，从而达到最大化泛化能力的目的。人工神经网络人工神经网络是一种模仿大脑神经网络结构和功能而建立的信息处理系统，表示神经网络的输入与输出变量之间关系的模型集成学习集成算法使用多种算法的组合进行预测，比单一分类器具有更高的准确率和鲁棒性，通常分为Bagging（聚合）、Boosting（提升）和Stacking（堆叠）三种模式 对于分类模型的评价，常用的模型评价指标包括了准确率、精确率、反馈率、混淆矩阵和ROC曲线等。分类与回归的模型评价分类模型的评价指标 准确率 准确率（Accuracy）是指预测正确的结果所占总样本的百分比：错误率 错误率（Fallibility）是指预测错误的结果所占总样本的百分比：分类与回归的模型评价 精确率 精确率（Precision）是指所有被预测为正的样本中实际为正的样本的概率：反馈率 反馈率（Recall）是指实际为正样本预测为正样本占实际为正样本的总数概率：分类与回归的模型评价 分类与回归的模型评价ROC曲线 接收者操作特征曲线（Receiver Operating Characteristic curve，ROC曲线）是一种非常有效的模型评价方法，可为选定临界值给出定量提示。 对于回归模型，常用的模型评价指标包括了绝对误差与相对误差、误差分析中的综合指标（平均绝对误差、均方误差、均方根误差）、平均绝对百分误差和Kappa统计量等。绝对误差（Absolute Error）：相对误差（Relative Error）：平均绝对误差（Mean Absolute Error，MAE）：分类与回归的模型评价回归模型的评价指标 均方误差（Mean Squared Error，MSE）： 均方根误差：平均绝对百分误差：分类与回归的模型评价 Kappa统计 Kappa统计是比较两个或多个观测者对同一事物，或观测者对同一事物的两次或多次观测结果是否一致，将由随机造成的一致性和实际观测的一致性之间的差别大小作为评价基础的统计指标。 Kappa取值在区间[-1,1]内，其值的大小均有不同意义，具体如下： 当Kappa=1时，说明两次判断的结果完全一致。当Kappa=-1时，说明两次判断的结果完全不一致。 当Kappa=0时，说明两次判断的结果是随机造成。 当Kappa0时，说明一致程度比随机造成的还差，两次检查结果很不一致，在实际应用中无意义。当Kappa0时，说明有意义，Kappa愈大，说明一致性愈好。当 时，说明已经取得相当满意的一致程度。当 Kappa0.4时，说明一致程度不够。分类与回归的模型评价 对于由d个属性组成的样本集 ， 其中 是 在第 个属性上的取值，线性模型即通过学习得到一个属性的线性组合来预测样本标签的函数： 其中， 表示回归系数的集合，其中回归系数 表示属性在预测目标变量时的重要性，b为常数。线性模型线性回归模型 使用scikit-learn库中linear_model模块的LinearRegression类可以建立线性回归模型，其基本使用格式和常用参数描述如下：class sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X = True, n_jobs = 1)线性模型参数名