数据挖掘技巧复习课件.pptVIP

*************************************基于距离的方法KNN离群点检测基于数据点与其K个最近邻的距离。常用方法包括计算到第k个近邻的距离作为离群度量，或计算到所有k个近邻的平均距离。离群度量较大的点被视为离群点。KNN方法简单直观，但对参数K敏感，且在高维空间中因维数灾难效果可能下降。LOF(局部离群因子)算法考虑了数据的局部密度差异，能更好地处理不均匀分布数据。LOF通过比较点的局部密度与其邻域点的局部密度，计算离群因子。LOF值接近1表示对象密度与邻域相似；显著大于1表示可能的离群点。LOF能发现全局方法可能忽略的局部离群点。DBSCAN在聚类过程中自然地识别出离群点，即不属于任何簇的噪声点。这种方法的优势是嵌入在聚类过程中，无需额外计算，且能处理任意形状的簇。调整DBSCAN参数(ε和MinPts)可平衡聚类和离群点检测的精度。结合DBSCAN的OPTICS算法可提供更灵活的多密度离群点检测。基于密度的方法密度估计基础低密度区域点为潜在异常OPTICS算法改进型DBSCAN，处理多密度簇DENCLUE算法基于核密度函数的密度估计基于密度的方法假设正常数据点在高密度区域，而离群点位于低密度区域。与基于距离的方法相比，密度方法能更好地处理簇密度不均匀的情况，且对局部离群点更敏感。密度估计方法包括基于核函数的非参数方法和基于网格的方法。OPTICS算法是DBSCAN的扩展，通过计算可达性距离(reachabilitydistance)创建数据的有序表示，无需固定的邻域半径参数。OPTICS能识别多密度簇中的离群点，解决DBSCAN在不同密度区域参数难以统一设置的问题。其可达性图可直观展示数据的簇结构和潜在离群点。DENCLUE(DENsity-basedCLUstEring)算法使用核密度估计函数模拟数据密度分布，将离群点视为低密度区域的点。通过求解密度函数的局部极大值，可识别数据的簇结构，而密度低于阈值的点被标记为离群点。DENCLUE对噪声鲁棒，且能处理任意形状的簇，但计算复杂度较高。第七章：数据流挖掘数据流特点数据连续不断到达数据量潜在无限顺序访问，无法多次扫描实时处理需求数据分布可能动态变化挑战与机遇有限内存处理无限数据实时响应与高吞吐量平衡处理概念漂移近似算法与精确性权衡分布式处理与负载均衡常用技术抽样与摘要结构滑动窗口处理衰减函数模型概率数据结构增量学习算法数据流频繁项集挖掘滑动窗口模型滑动窗口模型只关注最近的n个交易或固定时间段内的数据，随着新数据到达，窗口不断向前移动。这种方法能反映必威体育精装版的数据模式，遗忘旧数据，适用于模式频繁变化的场景。常见的窗口类型包括：基于计数的窗口(固定交易数量)和基于时间的窗口(固定时间段)。窗口大小的选择是关键参数，需平衡实时性和稳定性。代表性算法有DSM-FI(数据流挖掘频繁项集)和SWIM(滑动窗口增量挖掘)。衰减模型衰减模型为数据赋予基于时间的权重，使旧数据的影响逐渐减弱而非完全遗忘。通常使用指数衰减函数f(t)=2^(-λt)，其中t是数据的年龄，λ控制衰减速率。衰减模型比滑动窗口更平滑地处理时间效应，能保留历史数据的部分影响，对短期波动较为鲁棒。代表算法有FP-Stream，它结合FP树和衰减模型，维护多个时间粒度的频繁模式摘要。常见算法介绍LossyCounting：使用近似计数技术，以可控的误差率节省内存空间。将数据流分成批次处理，周期性地移除低频项计数器，确保误差不超过预设阈值。Moment算法：基于双层监控机制，维护可能成为频繁项的候选集。通过哈希技术和批处理策略，减少内存使用和计算开销。estDec算法：结合估计技术和衰减模型，动态调整支持度阈值，适应数据分布变化，在准确性和效率间取得良好平衡。数据流分类增量学习增量学习是数据流分类的核心技术，能在不重新训练的情况下更新模型。与批处理学习不同，增量学习算法能在线接收新数据，连续地调整和更新模型参数，适应数据流的实时特性。1概念漂移处理概念漂移指数据流中底层数据分布随时间变化的现象，可能导致模型性能下降。漂移类型包括：突变(快速变化)、渐变(逐步变化)、季节性(周期变化)、噪声(临时波动)。有效的漂移检测和适应机制对数据流分类至关重要。代表性算法VeryFastDecisionTree(VFDT)：基于Hoeffding界的增量决策树，能高效处理高速数据流；Concept-adaptingVeryFastDecisionTree(CVFDT)：VFDT的扩展，能检测和适应概念漂移；Online