- 1、本文档共17页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
归纳算法可扩展性算法、研究综述
归纳算法可扩展性算法研究综述 主讲人:蔡伟杰 可扩展性研究综述 为什么需要进行可扩展性研究 1训练集大,准确率上升 2为了寻找到小事件情况 3其他需要 多大的数据量? 100M-1G 可扩展性研究综述 什么是可扩展性? 时间复杂度: 和记录个数、属性之间的关系。 对空间的需求: 避免超过主存的情况。 模型结果的质量: 质量不能明显的降低。 可扩展性研究综述 可扩展性方法分类: 设计一个快速算法 限制模型空间 、强大的启发式有哪些信誉好的足球投注网站 、算法、编程上的优化 、并行方法 数据分片 选择一个实例子空间 、选择一个属性子空间 、对子空间顺序进行处理 、对子空间并行进行处理 关系性表达 用关系的方式表达数据 、将数据挖掘整合到数据库管理中 可扩展性研究综述 设计一个快速算法: 算法时间复杂度容忍极限 O(e3/2) 数据挖掘就是在一个模型空间中寻找某个模型,该模型在某些标准下表现得很好。 可扩展性研究综述 限制模型有哪些信誉好的足球投注网站的空间 线形回归方法、简单神经元、单层决策树(decision stumps)。 有哪些信誉好的足球投注网站空间小而且效果也不坏。 可扩展性研究综述 强大的启发式有哪些信誉好的足球投注网站: 大数据量情况,不允许生成多个模型之后再进行选择 决策树分而治之的方法:ID3、C4.5复杂度O(ea2)。 规则集(rule sets)。但是其效率较差O(e3)甚至更高。 MetaDENDRAL-style rule 可扩展性研究综述 算法、编程优化 : 使用有效的数据结构(bit vectors,hash tables,binary search trees)和聪明的编程技巧 对MetaDENDRAL-style rule的优化 对决策树的优化: 充足的统计信息 可扩展性研究综述 并行处理 : 有哪些信誉好的足球投注网站空间的并行处理 : 使用共享内存多处理器很好的实现了决策树的有哪些信誉好的足球投注网站空间的并行处理。 并行匹配: 对节点的评估代价是很高的,同时也有很大的并行性。 数据分割之后的并行处理 可扩展性研究综述 数据分割: 选择一个子集: 只选择一个子集进行处理 : 抽样方法: 抽样和准确率的关系: 主动和被动抽样: 可扩展性研究综述 数据分割:选择一个属性子空间 当前属性选择工作的焦点 训练集较小的时候 ,降低结果Overfitting 领域专家的交互 ,选择属性 选择足够多的属性 ,再去除 可扩展性研究综述 数据分割: 对子空间顺序进行处理 并行计算子空间 可扩展性研究综述 关系表达 挖掘小数据的速度更快; 扁平化极大的数据集往往不可行 方法: 用关系的方式表达数据 数据挖掘和数据库管理系统的结合 可扩展性研究综述 挖掘关系数据: 对层次数据的直接挖掘 挖掘多表数据库 ILP研究数据以关系方式存的知识发现 数据挖掘和DBMS结合 将DBMS作为一个简单的数据源 将对数据进行计算的部分放入DBMS Cache-Mine 将数据挖掘操作作为一个函数(UDF) 可扩展性研究综述 分布式挖掘: 数据量太大,不能存放在本地; 数据传输的代价太大; 隐私问题,不能无限制的获取数据。 * * 四种和数据库结合方法的比较 * * *
您可能关注的文档
- 弘扬女排精神 争做标杆少年.ppt
- 张征:互联网时代新闻采写能力培养.ppt
- 张夔老师 远景树木.ppt
- 张旭东数据库课设.doc
- 张春柏英汉对比与翻译.ppt
- 张树焕个人年终总结.ppt
- 张民论文最终版.docx
- 张爱玲倾城之恋中的经典语句.pptx
- 张湾再生水配套管网施组3标.doc
- 张爱玲笔下的男性形象.doc
- 吉林省白城市实验高级中学2024-2025学年度高三上学期期中考试语文试卷(含答案).pdf
- 黑龙江省牡丹江市2024-2025学年部编版八年级上学期期中考试历史试卷.pdf
- 江西省部分学校2024-2025学年高一上学期11月期中生物试题(含解析).pdf
- 山东省菏泽市单县2024-2025学年八年级上学期期中历史试题.pdf
- 山东省聊城市东阿县实验中学2024-2025学年八年级上学期10月月考地理试题(含答案).pdf
- 山东省滨州市惠民县2024-2025学年八年级上学期期中考试道德与法治试题.pdf
- 湖南省怀化市麻阳苗族自治县代远学校2024-2025学年七年级上学期期中道德与法治试卷(不含答案).pdf
- 江苏省常州市溧阳市2024-2025学年五年级上学期11月期中英语试题(含答案,无听力原文,无音频).pdf
- 吉林省通化市梅河口市第五中学2024-2025学年高三上学期11月期中地理试题(含答案).pdf
- 天津市部分区2024--2025学年部编版九年级上学期期中历史测试题(含答案).pdf
最近下载
- 肾盂旁囊肿的研究的现状及进展.doc VIP
- 3.1《中国科学技术史序言(节选)》课件-中职高二语文(高教版2024拓展模块上册).pptx
- PCB多层压合工艺PPT课件.ppt
- 第一单元第二节+体验“云上生活”++课件 2024—2025学年川教版(2024)信息科技+七年级上册.pptx VIP
- Garmin佳明Forerunner 165 智能GPS跑步腕表说明书用户手册.pdf
- 工程项目工期关键节点和线路保证措施(模板)18.docx VIP
- 泰康入职测评考试题库答案.pdf
- Ai围棋定式大全(重排彩图).pdf
- 汽车钣喷系列教学课件--钣金件焊接工艺.ppt
- 人力资源有限公司管理制度.docx VIP
文档评论(0)