数据挖掘 课件 第一章 数据挖掘绪论.pptx

;Contents;数据存储-生活中的数据;数据存储-生活中的数据;数据存储-生活中的数据;数据计算;有数据难利用;挖掘？;1.1.1数据挖掘的定义;1.1.1数据挖掘的定义;1.1.1数据挖掘的定义;1.1.2数据挖掘的应用领域;1.1.2数据挖掘的应用领域;1.1.2数据挖掘的应用领域;1.1.2数据挖掘的应用领域;1.1.3数据挖掘的基本任务;1.1.4数据挖掘学习资源;1.1.4数据挖掘学习资源;1.1.4数据挖掘学习资源;1.1.4数据挖掘学习资源;1.1.4数据挖掘学习资源;1.1.4数据挖掘学习资源;1.1.5数据挖掘的常用工具;1.1.5数据挖掘的常用工具;1.1.6数据挖掘的主要算法;1.1.6数据挖掘的主要算法;1.1.6数据挖掘的主要算法;Contents;1.2数据获取;Sections;1.2.1数据类型与来源;1.2.1数据类型与来源;Sections;数据采集旨在找到可用于训练模型的数据集

数据发现：用户能够找到、理解并访问相关数据集的过程。

数据增强：通过在原始数据集上应用一系列变换，增加数据的多样性。

数据生成：使用人工构建或自动化构建方法构建额外的数据集。;数据发现通常包括以下几个步骤：

需求分析：与利益相关者进行深入沟通，以明确数据需求和业务目标。

数据检索：从更广泛的数据资源中寻找特定的数据集或信息。精确地定位到数据源。

数据预览：查看数据样本以评估数据的质量和相关性。

数据访问：下载数据、使用API调用或通过数据集成工具将数据导入到分析平台。;需求分析

需求分析的核心是与利益相关者进行深入沟通，以明确他们的数据需求和业务目标，理解用户对数据的期望和使用场景。

这一阶段的目的是确保数据发现工作与数据挖掘目标保持一致，并为后续步骤提供清晰的指导。;数据发现;数据检索和数据共享之间存在密切关系

数据共享平台：GitHub、Datahub、Kaggle、GoogleFusion

这些平台为用户提供了一个集中、整理和共享数据的平台，用户可以直接获取并开始分析和应用数据。;数据发现;数据发现;数据采集旨在找到可用于训练模型的数据集，主要包括三种技术

数据发现：用户能够找到、理解并访问相关数据集的过程。

数据增强：通过在原始数据集上应用一系列变换，增加数据的多样性。

数据生成：使用人工构建或自动化构建方法构建额外的数据集。;常见数据增强方法：

几何变换

翻转、旋转、缩放、裁剪等操作

颜色变换

调整图像亮度、对比度、饱和度等属性

噪声注入

添加高斯噪声、椒盐噪声等

Mixup和CutMix

通过线性插值混合样本或部分样本生成新数据点

推导潜在语义

利用外部工具给数据增加细粒度标签或Caption

数据集成

整合多个来源或变种的数据，扩展和丰富数据集

;数据增强;数据采集旨在找到可用于训练模型的数据集

数据发现：用户能够找到、理解并访问相关数据集的过程。

数据增强：通过在原始数据集上应用一系列变换，增加数据的多样性。

数据生成：使用人工构建或自动化构建方法构建额外的数据集。;数据生成;数据生成;数据生成;Sections;1.2.3数据标注技术;利用现有标签;基于众包技术;基于众包技术;弱监督学习方法;Sections;1.2.4数据存储与管理;数据备份;数据安全;数据调用;Sections;1.2.5数据质量评估;Contents;1.3数据挖掘的流程;1.3.1业务理解与问题定义;1.3.2数据获取与预处理;1.3.3数据挖掘;1.3.3数据挖掘;1.3.4结果分析与应用（可视化）;Contents;本章小结;