模块5、6 大数据分析与挖掘、 深度学习与人工智能.pptx

模块五 大数据分析与挖掘大数据基础 导读主要内容5.1 大数据分析 5.2 数据挖掘5.3 实训 § 5.1 大数据分析 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，加以汇总、理解并消化，以求最大化地体现数据的功能，发挥数据的作用。 §5.1 大数据分析 大数据分析是指对规模巨大的数据进行分析。与传统数据分析相比，大数据的特点决定了大数据分析必须依托计算机科学技术来实现。大数据分析不是简单地统计分析，其研究过程主要侧重于两个方向：一个方向是数据处理表示，主要完成数据采集、存储、处理和可视化的研究；另一个方向侧重于数据统计规律，注重对微观数据本质特征的提取与模式发现。现在的大数据分析逐渐由数据处理技术向数据分析技术倾斜。 § 5.1.1 数据分析过程（1）探索性分析刚取得的数据可能杂乱无章，看不出规律，可以通过作图、制表、用各种形式的方程拟合、计算某些特征量等手段探索隐藏在数据中的规律。（2）模型选定分析在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步分析从中挑选一定的模型。（3）推断分析通常使用数理统计方法推断选定的模型或估计可靠程度和精确程度。 § 5.1.1 数据分析过程 数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。识别信息需求收集数据分析数据过程改进 § 5.1.1 数据分析过程1. 识别信息需求 识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责，管理者应根据决策和过程控制的需求，提出对信息的需求。就过程控制而言，管理者应识别需求要利用哪些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。 § 5.1.1 数据分析过程2. 收集数据 有目的的收集数据是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时应考虑如下内容：（1）将识别的需求转化为具体的要求，如评价供方时，需要收集的数据可能包括其过程能力、测 量系统不确定度等相关数据。（2）明确由谁在何时何处，通过何种渠道和方法收集数据。（3）记录表应便于使用。（4）采取有效措施，防止数据丢失和虚假数据对系统的干扰。 § 5.1.1 数据分析过程3. 分析数据分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，通常用方法有： （1）老七种工具，即排列图、因果图、分层法、调查表、散布图、直方图、控制图。（2）新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。 § 5.1.1 数据分析过程4. 过程改进 数据分析是质量管理体系的基础。组织的管理者应在适当时，通过对以下问题的分析，评估其有效性： （1）提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题。 （2）信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用数据分析。 （3）收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通。 （4）数据分析方法是否合理，是否将风险控制在可接受的范围。 （5）数据分析所需资源是否得到保障。 § 5.1.2 数据分析方法传统数据分析方法对比分析分组分析回归分析指标分析预测分析大数据分析方法可视化分析数据挖掘算法预测性分析语义引擎数据质量和数据管理 § 传统数据分析方法(1) 对比分析 对比分析法在生活和工作中都会经常用到。对比分析法也称比较分析法，是将两个或两个以上相互联系的指标数据进行比较，分析其变化情况，了解事物的本质特征和发展规律。 § 传统数据分析方法(2) 分组分析 分组分析法是指根据数据的性质、特征，按照一定的指标将其总体划分为不同的部分，分析其内部结构和相互关系，从而了解事物的发展规律。 § 传统数据分析方法(3) 回归分析 回归分析法是一种应用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据求解模型的各参数，然后评价回归模型是否能够很好地拟合实测数据，如果能够很好地拟合，则可以根据自变量做进一步预测。 § 传统数据分析方法(4) 指标分析 指标分析法是指直接运用统计学中的一些基础指标进行数据分析，如平均数、众数、中位数、最大值、最小值等，基础指标的选取需要考虑结果的取向性。指标分析法同样应用广泛，该方法与其他方法