第1章 大数据基础-2023-8-16.ppt

1.5大数据应用场景1.5.7农业大数据体系建设质量监管：利用物联网技术、微信移动端等现代技术手段对农产品进行实时监测和数据采集，建立农产品监管平台和农产品质量安全追溯体系，实现农产品从种植、生产、加工、运输到销售等全过程可追溯，加强信息共享和协同管理，打通上下游追溯体系，提高农产品的质量和安全性，促进农业信息化和智能化的发展。农业市场监测：采集农产品交易流通、消费需求、价格、市场动态等数据，了解市场需求量、消费结构等信息，构建产量预测、价格分析、供需情况等数据模型，帮助人们更好地把握市场动态，提高市场竞争力和收益水平，也为农业生产和经营提供决策支持。1.5大数据应用场景1.5.7农业大数据体系建设图1-17全国重点农产品批发价格200指数及趋势本章小结在介绍数据、信息、知识等概念的基础上，介绍了大数据发展历程及大数据的5V特性。然后从数据生命周期管理角度出发，详细论述了数据收集、数据预处理、数据分析、数据可视化等不同阶段的工作内容。进一步，对大数据生态技术体系进行了简要介绍。最后，介绍了了大数据对社会发展的重要影响，涵盖了工业、民生、交通、金融、政务和农业等多个领域。通过本章学习，应能够了解大数据发展历程，理解大数据的特性和大数据分析处理流程，初步了解大数据生态中的相关技术，充分认识大数据对社会发展的重要影响。第2章将开始讲解Hadoop架构。1.3数据分析流程1.3.4数据分析数据分析是指采用适当的分析方法及分析工具，对处理过的数据进行分析、挖掘和解释，提取有价值的信息并形成有效结论的过程。常见的数据分析目标包括：推测或解释数据并确定如何使用数据、给决策提供合理建议、诊断或推断错误原因和预测未来将要发生的事件等。1.3数据分析流程1.3.4数据分析1.数据分析层次由于数据的多样性，可根据数据分析深度将数据分析分为描述性分析、预测性分析和规则性分析3个层次。（1）描述性分析描述性分析是对所收集的历史数据进行分析以得出数量特征的分析方法，如数据集中趋势分析、数据离散程度分析、数据频数分布分析、数据变异程度分析等，是对数据进一步分析的基础。很多企业开展数据的描述性分析，如统计网页浏览量、帖子平均回复数等，用以了解企业的整体绩效，或者找出成功或失败背后的原因。1.3数据分析流程1.3.4数据分析1.数据分析层次（2）预测性分析预测性分析是指使用统计和机器学习等技术，对未来发展的概率和趋势进行预测的过程。常见的分析方法有假设检验、相关分析、回归分析、时间序列分析等，通过对数据进行训练和优化建立预测模型，探究数据的特征和关系，发现数据变化趋势，预测未来结果，从而做出更准确的预测和决策。1.3数据分析流程1.3.4数据分析1.数据分析层次（3）规范性分析规范性分析是指使用数学模型、仿真优化和其他定量技术等探索历史数据和未来发展之间的关系。相比于预测分析，规范性分析不仅要对未来发展进行预测，还要对预测结果及其影响进行分析解释，为决策提供指导和支持。规范性分析的一般步骤包括定义问题、确定目标和解决方案、构建优化模型，从众多决策项中寻求最优决策等步骤，常见的应用场景如内容推荐引擎、金融欺诈预测和预防、医疗保健优化、商业投资推荐等。1.3数据分析流程1.3.4数据分析2.数据分析技术常见的数据分析技术包括统计分析、数据挖掘、机器学习等。（1）统计分析统计分析是利用概率论建立数学模型，收集所观察系统的数据，从而进行量化的分析、总结、推断和预测。常见的统计分析技术包括描述性统计、推断性统计、回归分析、方差分析、卡方检验、T检验等。1.3数据分析流程1.3.4数据分析2.数据分析技术（1）统计分析描述性统计：主要是通过对数据的计算以描述数据的分布特性等基本情况。常见的描述性统计包括集中趋势分析（如平均数、中位数、众数）、离散程度分析（如标准差、方差、极差）和分布形态分析（如频数分布表、直方图、箱线图）等。推断性统计：是在对数据进行描述性统计的基础上，根据样本数据去推断总体数量特征。常用的推断性统计方法包括聚类分析、回归分析、时序分析等。1.3数据分析流程1.3.4数据分析2.数据分析技术（2）数据挖掘数据挖掘是指从大量的数据中通过算法有哪些信誉好的足球投注网站隐藏于其中信息的过程。常见的数据挖掘方法包括模糊方法、粗糙集理论、证据理论、人工神经网络、遗传算法、归纳学习等。数据挖掘基于的数据库类型包含关系型数据库、事务数据库、时态数据库、多媒体数据库、空间数据库及数据仓库等。挖掘后获得的知识包括关联规则、特征规则、分类规则、偏差规则、聚类规则、模式分析及趋势分析等。