金融数据分析—以Python为工具 课件 二、数据分析的流程.pptx

Python金融数据分析

金融数据分析流程Chapter02

金融数据分析概览1??数据分析宏观流程2??数据分析微观流程3??数据样本及表示3.1??基本术语3.2??样本表示

数据分析宏观流程

数据分析宏观流程明确数据分析的目标和任务。准备数据分析的计算机语言或软件，本书中对应的是Python及集成开发环境Anaconda。各种炊具代表各种Python数据分析库或包。菜单中的菜肴代表的是各种数据分析的任务和结果展示，例如作为前菜的探索性数据分析、作为主菜的数据建模和模型评价、作为甜点的结论分析等。

数据分析宏观流程食材代表的是金融数据，依赖于数据分析的目标和任务。菜肴的烹饪过程对应于数据分析的过程。珍藏佳酿代表数据分析得出的结论。

数据分析微观流程

数据分析微观流程1）数据读取。从数据文件、数据库等数据源读取数据，得到结构化的二维表数据。2）初步探索性分析。从纯数据抽象的角度（不含业务逻辑）了解数据集的大小、数据缺失、属性类别、数据分布等情况。3）特征工程。基于初步探索性分析的结果进行数据清洗、数据规范化、特征提取等预处理。

数据分析微观流程4）探索性数据分析。得到规范的数据集后，在建模之前结合业务逻辑背景进行一些简单的统计分析。5）建模分析。包括数据建模、模型评估、模型预测等步骤，这通常是数据分析特别是数据挖掘的主要环节。模型可以分为业务逻辑模型和机器学习模型。6）结论分析及展示。对探索性分析和建模分析的结果进行总结，得出一些有用的规律和结论。

数据样本及表示典型的结构化数据集是一张二维表，通常称为一个样本（sample）或数据集（dataset），从统计学的角度代表对随机总体的抽样。样本的每一行代表一条数据记录，称为示例（instance）或样品，样本的每一列代表样品在某一维度上的取值，称为样本的属性（attribute）。

数据样本及表示样本的属性有时也会被称作特征（feature）、字段（field）或者变量（variable）。我们把拥有了标记信息的示例称为样例（example）。从回归的角度看，样本属性即自变量或解释变量，样本标记即因变量或被解释变量。二分类问题；多分类问题；回归问题。

数据样本及表示

数据样本及表示根据不同的功能，样本可以被进一步分为训练集（trainingset）、验证集（validationset）和测试集（testingset）。