《信息技术素养》课件_模块７ 信息前沿技术.pptxVIP

任务7.1大数据;７.１.１数据挖掘及其与大数据的关系

数据挖掘是指通过大量数据集进行分类的自动化过程,以通过数据分析来识别趋势和模式,建立关系来解决业务问题.换句话说,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的,但又是潜在有用的信息和知识的过程.

数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标.

数据挖掘分为有指导的数据挖掘和无指导的数据挖掘.有指导的数据挖掘是利用可用的数据建立一个模型,这个模型是对一个特定属性的描述.无指导的数据挖掘是在所有的属性中寻找某种关系.具体而言,分类、估值和预测属于有指导的数据挖掘;关联规则和聚类属于无指导的数据挖掘.

;大数据是一个领域,是专门应对??量数据的领域.假如一个系统产生的数据量小,那么开发或者架构的方法就很简单;反之,如果量大的话,那么架构和开发难度就不在同一个量级上,所以大数据自己单独成为一个领域.数据挖掘属于数据分析的一部分,是对于大量数据中包含的信息的探索和分析,最终目的是提取数据中的价值.数据挖掘的前提是要有数据,这就涉及大数据的集成,也就是说把大量的数据收集到一起,大数据集成也是大数据领域的一部分.

７.１.２数据挖掘算法

目前,数据挖掘的算法主要包括神经网络法、决策树法、遗传算法、粗糙集法、模糊集法、关联规则法等.

神经网络法是模拟生物神经系统的结构和功能,是一种通过训练来学习的非线性预测模型,它将每一个连接看作一个处理单元,试图模拟人脑神经元的功能,可完成分类、聚类、特征挖掘等多种数据挖掘任务.

决策树法是根据对目标变量产生效用的不同而构建分类的规则,通过一系列的规则对数据进行分类的过程,其表现形式是类似于树形结构的流程图.

;遗传算法模拟了自然选择和遗传中发生的繁殖、交配和基因突变现象,是一种采用遗传结合、遗传交叉变异及自然选择等操作来生成实现规则的、基于进化理论的机器学习方法.它的基本观点是“适者生存”,具有隐含并行性,易于和其他模型结合等性质.

模糊集法是利用模糊集合理论对问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析.模糊集合理论是用隶属度来描述模糊事物的属性,系统的复杂性越高,模糊性就越强.

关联规则法反映了事物之间的相互依赖性或关联性,最著名的算法是Apriori算法.其算法的思想是:首先找出频繁性至少和预定意义的最小支持度一样的所有频集,然后由频集产生强关联规则,这样的规则必须满足.;７．１．３大数据应用

１．大数据在金融行业的应用

大数据在金融行业的应用可以总结为以下三个方面.

(１)精准营销:依据客户消费习惯、地理位置、消费时间进行推荐.

(２)风险管控:依据客户消费和现金流提供信用评级或融资支持,利用客户社交行为记录实施信用卡反欺诈.

(３)决策支持:利用决策树技术进行抵押贷款管理,利用数据分析报告实施产业信贷风险控制.;２．大数据在医疗行业的应用

我们面对的数及种类众多的病菌、病毒,以及肿瘤细胞,其都处于不断进化的过程中.在发现诊断疾病时,疾病的确诊和治疗方案的确定是最困难的.医疗行业拥有大量的病例,病理报告,治愈方案,药物报告等.如果这些数据可以被整理和应用将会极大地帮助医生和病人.

我们借助于大数据平台可以收集不同病例和治疗方案,以及病人的基本特征,可以建立针对疾病特点的数据库.在医生诊断时可以根据病人的疾病特征、化验报告和检测报告,参考疾病数据库来快速帮助病人确诊.在制定治疗方案时,医生可以依据病人的基因特点,调取相似基因、年龄、人种、身体情况相同的有效治疗方案,制定出适合病人的治疗方案,帮助更多人及时进行治疗.同时这些数据也有利于医药行业开发出更加有效的药物和医疗器械.

医疗行业的数据应用一直在进行,但是数据没有打通,都是孤岛数据,没有办法进行大规模应用.未来需要将这些数据统一收集起来,纳入统一的大数据平台,为人类健康造福.政府和医疗行业是推动这一趋势的重要动力.;３．大数据在环保行业的应用

2016年,我国颁布了生态环境大数据建设总体方案,明确我国将通过大数据建设加强环境保护.基于这样的背景,目前环保大数据发展很快.随着环境监管升级,针对性、精确化、智能化的服务需求激增,大数据在环境领域大有用武之地.

与此同时,环保数据量呈爆发式增长,给计算资源和存储资源的扩展性和高可用性带来挑战.另外,生态监测网实时数据也给数据平台带来性能挑战.而非结构化数据、时间序列数据、关系型数据等多类型数据,也增加了数据处理及分析的复杂性.因此大数据在环保行业也有着不可或缺的作用.

大数据可以全面地记录污染源全生命周期各个节点的各类数据,并可以精准计算、分析其对环境影响的过程和程度,并建立包括大