数据分析概述.pptx

商务数据分析;;数据分析是指用适当的分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 随着计算机技术的全面发展，企业生产、收集、存储和处理数据的能力大大提高，数据量与日俱增。而在现实生活中，需要把这些繁多、嘈杂的数据运用统计分析进行萃取、提炼，以此研究出数据的发展规律，然后帮助企业管理层做出决策。;广义的数据分析包括狭义数据分析和数据挖掘。狭义的数据分析是指根据分析目的，采用描述性统计和图形可视化等分析方法，运用对比分析、分组分析、交叉分析和回归分析等分析策略，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用，得到一个针对不同统计量的统计结果的过程。 数据挖掘则是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，通过应用聚类、分类、回归和关联规则等技术，挖掘潜在价值的过程。;图中展示了广义数据分析的主要内容、分析方法、输出结果和总体目标。 ;商务数据分析与一般的数据分析的不同之处在于，商务数据分析更为侧重商业场景。 商务数据分析需要结合内外部数据深度剖析商业问题，基于具体的商业场景以及商业逻辑，使用数据作为原材料，对数据进行相应的逻辑处理与结构化处理。同时通过数据洞察商业问题，为企业战略及商业决策提供数据支持。;;数据分析已经逐渐演化为一种解决问题的过程，甚至是一种方法论。虽然每个公司都会根据自身需求和目标创建最适合的数据分析流程，但数据分析的核心步骤是一致的。 ;需求分析一词来源于产品设计，主要是指从用户提出的需求出发，探索用户内心的真实意图，并转化为产品需求的过程。 产品设计的第一步就是需求分析，也是最关键的一步，因为需求分析决定了产品方向，错误需求分析，会导致在产品实现过程中走入错误方向，对企业造成损失。 数据分析中的需求分析也是数据分析环节的第一步和最重要的步骤之一，决定了后续的分析的方向、方法。 数据分析中的需求分析主的要内容是根据业务的需要，结合业务背景和现有的数据情况，提出的数据??析需求的整体分析方向、分析内容，制定项目的分析目标，最终和需求方达成一致意见。 ;数据是数据分析工作的基础，是指根据需求分析的结果提取、收集数据。数据来源主要有两种，即网络数据和本地数据。 网络数据是指存储在互联网中的各类视频、图片、语音、文字等信息。 本地数据则是指存储在本地数据库中的生产营销财务等系统的数据。本地数据按照数据时间又可以划分为两个类型：历史数据与实时数据。历史数据是指系统在运行过程中，历史遗存下来的数据，其数据量随系统运行时间增加而增长。实时数据是指最近一个单位时间周期（月、周、日、小时等）产生的数据。 数据获取的常见方式有连接数据库和读取文件等，在数据分析过程中，具体使用哪种数据获取方式，依据需求分析的结果而定。 ;探索性分析指的是指通过计算某些统计指标、绘制图表等手段，对样本数据集的结构和规律进行分析的过程。对数据进行探索性分析能够掌握数据的基本情况，揭示数据的分布特征和分布类型，把握数据的趋势和周期性，理解数据中蕴含的相关性，同时也有助于选择合适的数据预处理方法和建模方法。 ;数据预处理是指对数据进行数据合并、数据清洗、数据变换和数据标准化，使得数据可以直接用于分析建模过程。 数据合并可以将多张互相关联的表格合并为一张表。 数据清洗可以去掉数据中的重复、缺失、异常、不一致的数据。 数据标准化可以去除属性间的量纲差异。 数据变换则可以通过离散化、哑变量处理等技术满足后期分析与建模的数据要求。 在数据分析的过程中，数据预处理的各个过程互相交叉，并没有明确的先后顺序。;构建模型是指通过回归、聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论的过程，构建模型的方法按照目标不同可以分为几大类。 如果分析目标是描述客户行为模式，可采用描述型数据分析方法，同时还可以考虑关联规则、序列规则、聚类等模型。 预测型数据分析就是量化未来一段时间内，某个事件的发生概率。预测分析模型分为两类，即分类预测和回归预测。在常见的分类预测模型中，目标属性通常都是二元数据，例如，欺诈与否、流失与否、信用好坏等。在回归预测模型中，目标属性通常都是连续型数据，常见的有股票价格预测和违约损失率预测等。;模型评价是指对已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。 常用的回归模型的算法评价指标有平均绝对误差、均方误差、中值绝对误差、可解释方差值等。 常用分类模型的评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1值（F1 Value）、ROC和AUC等。 常用的聚类模型评价指标有ARI评价法（兰德系数）、AMI评价法（互信息）、V-Measure评分、FMI评价法和轮廓系数等。;