《数据挖掘技术》课件2.pptVIP

数据挖掘技术从数据中发现隐藏的模式和知识

课程介绍与大纲基础理论数据挖掘概念、流程和前置知识核心技术分类、聚类、关联规则、回归分析等算法高级方法集成学习、深度学习、大规模数据处理实践应用

什么是数据挖掘？数据挖掘的定义从大量数据中提取模式和知识的过程非平凡信息的自动化发现结合多学科技术的交叉领域数据挖掘的目标预测未知或未来的数据值识别异常行为和模式发现数据间的关联关系

数据挖掘的重要性大数据时代的需求数据量呈爆炸性增长传统分析方法难以应对需要自动化智能分析工具商业价值提升决策质量发现市场机会优化业务流程

数据挖掘的应用领域金融领域风险评估欺诈检测客户细分零售行业市场篮分析推荐系统销售预测医疗健康疾病预测药物研发医疗图像分析教育行业学习行为分析个性化教学

数据挖掘的一般流程数据收集确定数据源数据预处理清洗转换集成模型构建选择算法训练模型结果评估

数据收集与预处理数据来源企业内部数据库网络爬虫收集物联网设备第三方数据平台公开数据集数据清洗处理缺失值去除噪声识别并修正异常值处理不一致数据

数据转换与集成特征选择剔除无关特征识别重要属性降低数据维度数据规范化最小-最大规范化Z-score标准化小数定标规范化数据集成合并多源数据解决数据冗余

数据挖掘模型构建确定挖掘任务分类、聚类、关联规则还是回归选择合适算法根据任务和数据特点选择参数调优设置合适参数提高性能模型训练使用训练集构建模型模型测试

结果评估与解释业务理解转化为可行业务洞见结果解释用业务语言描述发现效果验证测试集评估模型性能评估指标

数据仓库简介定义与特点面向主题的数据集合集成的相对稳定的反映历史变化的支持决策的数据环境与数据挖掘的关系提供清洗整合的数据源支持多维数据分析为挖掘提供历史数据存储挖掘结果

数据仓库架构数据源层业务系统、外部数据ETL层数据抽取转换加载数据存储层星型模型、雪花模型数据访问层

OLAP与OLTP的比较特征OLTPOLAP主要功能日常交易处理复杂分析查询数据特点当前数据历史汇总数据数据更新频繁批量定期响应时间毫秒级秒到分钟用户类型操作人员

分类技术概述学习阶段从已标记数据构建模型分类器将新实例映射到类别测试阶段评估分类准确性优化阶段

决策树算法ID3算法基于信息增益选择属性倾向选择取值多的属性C4.5算法使用增益率克服ID3缺点能处理连续属性CART算法生成二叉树

决策树构建过程准备训练数据包含特征和目标类别选择最佳分裂属性计算信息增益或增益率数据集分裂根据选定属性划分子集递归构建子树对每个子集重复过程停止条件节点纯净或达到最大深度

决策树剪枝技术预剪枝在构建过程中停止生长设置最小样本数阈值限制树的最大深度信息增益小于阈值停止后剪枝先构建完整树再修剪悲观误差估计代价复杂度剪枝错误率降低则替换子树

朴素贝叶斯分类器基本原理基于贝叶斯定理假设特征条件独立优点算法简单高效少量训练数据即可对缺失数据不敏感局限性特征独立性假设过强零概率问题应用场景文本分类垃圾邮件过滤情感分析

支持向量机(SVM)原理最大间隔分类寻找最优超平面最大化类别间距离支持向量最接近决策边界的样本点决定超平面位置核技巧将低维数据映射到高维空间解决非线性分类问题

SVM核函数选择线性核线性可分问题1多项式核低维非线性问题2径向基函数复杂非线性问题3Sigmoid核类神经网络效果4

K近邻(KNN)算法1寻找最近邻计算样本间距离K选择参数K确定考虑的邻居数量3距离度量欧氏距离、曼哈顿距离等5投票决策按邻居多数类别分类

神经网络基础基本组成神经元(节点)连接权重激活函数网络层次结构工作机制输入特征加权求和通过激活函数变换生成输出信号反向传播调整权重

多层感知器(MLP)输入层接收原始数据隐藏层特征提取转换输出层生成预测结果通过反向传播算法训练可解决非线性分类问题适用于复杂模式识别任务

深度学习简介应用领域计算机视觉、自然语言处理模型架构CNN、RNN、Transformer深层结构多隐藏层自动提取特征核心思想多层次特征学习

聚类分析概述定义将数据划分为相似组无监督学习方法目标组内相似度高组间相似度低应用场景客户分群图像分割异常检测

K-means算法初始化随机选择K个中心点分配将点分配到最近中心更新重新计算各簇中心点迭代重复直到收敛

层次聚类方法自下而上(凝聚)起始每点一簇逐步合并最相似簇构建聚类树自上而下(分裂)起始所有点一簇逐步分裂不相似簇形成层次结构主要距离度量方法单链接全链接平均链接Ward方法

DBSCAN密度聚类核心思想基于密度的聚类发现任意形状簇关键参数Eps：邻域半径MinPts：最小点数点的分类核心点边界点噪声点优势不需预设簇数抗噪声能力强发现不规则簇

聚类算法评估指标2评估类型内部评估、外部评估0-1轮廓系数衡量簇内紧密度与簇间分离度0+Davies-Bouldin指数较小值表