数据挖掘算法介绍.ppt

谢谢第30页,共30页，星期六，2024年，5月*人工智能A.I.:ArtificialIntelligence

数据挖掘算法介绍数据挖掘数据挖掘是从大量数据中提取出有效的、新颖的、有潜在作用的、可信的、并能最终被人理解的模式(pattern)的非平凡的处理过程。KDDDM第2页,共30页，星期六，2024年，5月KDDKDD:knowledgediscoveryindatabase数据建模验证应用第3页,共30页，星期六，2024年，5月DMDM:dataming——KDD的一个阶段KDD与DM等同第4页,共30页，星期六，2024年，5月DMislikesettinguparestaurantkitchen...StartingarestaurantkitchenDataMiningFood/InfoCooks/TeamKitchen/DWH第5页,共30页，星期六，2024年，5月数据挖掘与其他学科的关系DataMiningDatabaseTechnologyStatisticsOtherDisciplinesInformationScienceMachineLearning(AI)Visualization第6页,共30页，星期六，2024年，5月数据挖掘与OLAPOLAP（on-lineanalyticalprocessing）:只能限制于少量的维度和数据类型用户控制的流程假设——验证——结论DM：没有明确假设的前提下去挖掘信息、发现知识——具有未知、有效、可实用三个特征能自动的发现隐藏在数据中的规律可以发现比OLAP更复杂而细致的信息未知——归纳——结论联系：OLAP——DMOLAM第7页,共30页，星期六，2024年，5月数据挖掘与统计学数据挖掘：数据挖掘利用了统计、人工智能、数据库等技术，把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题；不仅仅是统计分析；统计分析：统计分析技术都基于完善的数学理论和高超的技巧，预测的准确度还是令人满意的，但对使用者的要求很高联系统计分析方法学的延伸和扩展很多的挖掘算法来源于统计学第8页,共30页，星期六，2024年，5月前景预言：著名的咨询公司GartnerGroup在（2000年）一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位国外现状：成熟、产品：SAS、CLEMENTINE、UNICA、各大数据库国内现状：起步产品：大部分是实验室产品第9页,共30页，星期六，2024年，5月数据挖掘分类挖掘对象基于数据库的挖掘基于web的挖掘基于文本的挖掘其他：音频、视频等多媒体数据库第10页,共30页，星期六，2024年，5月数据挖掘分类应用响应模型交叉销售价值评估客户分群第11页,共30页，星期六，2024年，5月数据挖掘分类挖掘模式预测型(Predictive)描述型(Descriptive)实际作用可分为以下几种模式：分类：对没有分类的数据进行分类；预测：用历史来预测未来；关联分析：关联规则；聚类：物以类聚；序列模式：在多个数据序列中发现共同的行为模式;描述和可视化：数据挖掘的结果的表示形式;偏差分析：从数据分析中发现异常情况。第12页,共30页，星期六，2024年，5月数据挖掘分类我的理解－挖掘的算法分为三个层次：模式：比如分类、聚类－》模型：决策树、神经网络－》算法：ID3、CHAID、BP举例：分类－决策树－ID3、CHAID等；聚类－聚类分析－k-means、EM等。第13页,共30页，星期六，2024年，5月数据挖掘分类挖掘模型决策树(decisiontree)关联规则(associationrules)聚类(clustering)神经网络(ArtificialNeuralNetworks，简记作ANN)粗糙集(roughset)概念格(conceptlattice)遗传算法(geneticalgorithms)序列模式(sequencepattern)贝叶斯(Bayes)支持向量机(supportvectormachine，简记作SVM)模糊集(fuzzyset)基于案例的推理(case-basedreasoning，简记作CBR)第14