数据挖掘应用 Chapter12 Applicationsof Data Mining培训演示课件.ppt

流数据挖掘 流数据简介 流数据频繁模式挖掘简介 流数据频繁模式挖掘算法 数据流简介 概念 一系列连续且有序的点组成的序列 x1,…, xi, …, xn,称为数据流；按照固定的次序，这些点只能被读取一次或者几次 特点 大数据量，甚至无限 频繁的变化和快速的响应 线性扫描算法，查询次数有限 random access is expensive DBMS 与 DSMS 持久的关系 One-time queries 随机的访问 “无限”的磁盘空间 当前状态有效 相对较低的更新率 很少“实时服务” 假定数据精确无误 访问策略由查询处理器在数据库设计时确定 瞬间的流 连续的查询 序列化的访问 有限的主存 数据的到达顺序是关键 数据传输率未知 实时响应 过时/模糊的数据 变化的数据及数据量 Scratch Space (Main memory and/or Disk) User/Application Continuous Query Stream Query Processor Results Multiple streams DSMS DSMS Scratch Store DSMS Input streams Register Query Streamed Result Stored Result Archive Stored Relations 目前的DSMS项目 STREAM (Stanford): A general-purpose DSMS Cougar (Cornell): sensors Aurora (Brown/MIT): sensor monitoring, dataflow Hancock (ATT): telecom streams Niagara (OGI/Wisconsin): Internet XML databases OpenCQ (Georgia Tech): triggers, incr. view maintenance Tapestry (Xerox): pub/sub content-based filtering Telegraph (Berkeley): adaptive engine for sensors Tradebot (): stock tickers streams Tribeca (Bellcore): network monitoring Streaminer (UIUC): new project for stream data mining 应用领域 新的应用领域 – 以连续的、有序的“流”的形式输入数据 网络监听和流量控制(Network monitoring and traffic engineering) 电话通信(Telecom call records) 网络安全 (Network security ) 金融领域(Financial Application) 工业生产(Manufacturing Processes) 网页日志与点击流(Web logs and clickstreams) 应用实例 网络安全 数据包流，用户的会话信息 查询: URL 过滤，异常监测，网络攻击和病毒来源 金融领域 交易数据流， 股票行情， 消息反馈 查询: 套汇可能性分析，模式 现有的研究方向 流数据建模(Stream data model) STanford stREam datA Manager (STREAM) Data Stream Management System (DSMS) 流检索/查询建模(Stream query model) Continuous Queries Sliding windows 流数据挖掘(Stream data mining) Clustering summarization (Guha, Motwani et al.) Correlation of data streams (Gehrke et al.) Classification of stream data (Domingos et al.) 流数据频繁模式挖掘简介 静态数据 流数据 关系特点 静态稳固 短暂易失 查询方式 一次完成 连续查询 存取方式 随机访问 序列访问 存储容量 无限的辅存 有限的主存 响应速度 无要求或尽量快 必须快 存储特点 被动存储 主动存储 更新速度 低 不可预测 响应特点 较少“实时服务” 实时响应 Web内容挖掘 Web内容挖掘是从文档内容或其描述中抽取知识的过程。 Web内容挖掘策略 直接挖掘文档的内容 在其它工具有哪些信誉好的足球投注网站的基础上进行改进 Web内容挖掘（续）