数据分析应用项目化教程（Python） 课件 任务1.1 认识Python与数据分析.pptx

项目1认识数据分析

任务1.1认识Python与数据分析项目1介绍认识数据、信息、知识、数据分析认识定性和定量数据分析认识Python与数据分析认识数据分析学习路径

项目1介绍项目描述：数据分析可以通过计算机工具和数学知识处理数据，并从中发现规律性的信息，以做出具有针对性的决策。项目1介绍数据分析的主要概念和流程，后续项目学习Python在数据分析中的核心内容及数据分析的Python库，把概念和流程转化为Python代码，实现Python数据分析。虽然后续项目不涉及使用机器学习和深度学习进行数据分析，但后续项目是学习机器学习和深度学习进行数据建模、使用模型进行数据分析的基础。项目分析：做数据分析，首先需要认识数据分析相关概念、分类、学习路径、流程、作用，建立数据分析的总体认识。项目目标：1)描述数据、信息、数据分析2)区别定性数据分析和定量数据分析3)列表数据分析技术栈4)描述数据分析流程

认识数据、信息和知识数据是指对客观事件进行记录并可以鉴别的符号，它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等。分为模拟数据和数字数据。数据分为结构化数据、非结构化数据、半结构化数据三种类型，分别是：1、结构化数据（关系数据库的行和列）；2、半结构化数据（CSV，日志，XML，JSON、HTML、报表、资源库）；3、非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。信息其实就是被组织起来的数据，是为了特定目的对数据进行处理和建立内在关联，从而让数据具有意义。用信息论的奠基者香农的话说，“信息是用来消除随机性的不确定性的东西”。也就是说，信息是有组织或分类的数据，对接收者有一定价值。数据和信息是不可分离的，数据是信息的表达，信息是数据的内涵。知识是对信息的提炼和概括，它是高度概括的信息。基于图技术的知识图谱可以用来描述各种实体以及它们之间的关系。它是一个庞大的图形网络知识库。在这个网络中，每个节点是一个实体，比如人名、地名、事件、活动，任意两个节点之间的边表示它们之间存在关系。知识图谱的基本组成是“实体–关系–实体”的三元组，它不仅能把与关键词有关的知识系统化地展示给用户，也可以基于知识进行推演。比方说，从〈东方明珠，坐落在，浦东〉和〈浦东，属于，上海〉这两个组合，就能推测得到〈东方明珠，位于，上海〉。随意给出3个数字：68、21、192。这3个数字仅仅是数据。现在给它们加上一些说明，比如：衣服的价格是68元，今天的气温是21摄氏度，小明爸爸的体重是192斤。这些数据有了明确表达的含义，它们就是信息。数据、信息、知识三者密不可分：数据是一组有意义的符号，它是信息的载体，是知识的来源；信息赋予了数据含义，信息消除了不确定性；知识从实践、经验中得到，它由数据记录，从信息中提炼。

认识数据分析数据分析是指用适当的方法及工具，从大量的数据中提取有价值的信息，找到数据背后的内在规律，形成有效结论的过程。数据分析是将数据转换为有效信息的过程，现已形成一整套关于数据建模的方法论。模型是指将所研究的系统转换为数学的形式。模型的预测能力不仅取决于建模技术的质量，还取决于数据的质量，因此数据搜集、数据提取、数据准备等预处理工作也成为数据分析的主要组成部分，对数据分析的最终效果有重要的影响。数据分析是“数据驱动业务”的重要手段。高质量的数据和模型还不够，数据分析还需要有各种数据可视化的方法，可以更直观地理解数据中隐含的信息。

认识定性和定量数据分析定量分析指待分析的数据有着严格的数值型或类别型结构。定性分析指数据要用自然语言来描述。定量分析往往建立数学模型，并用数学模型针对数据特征、数据关系与数据变化进行分析。定性分析往往依据直觉、经验，运用主观上的判断对数据的性质、特点、发展变化规律进行分析，数据分析的结论可能还包括主观解释。

认识Python与数据分析Python是一门开源的、易于使用的编程语言，拥有非常活跃且庞大的社区，提供了数据分析所需的各种算法库，是数据分析的重要工具。可以方便地将数据分析模型与现有的系统进行整合对接。

认识Python数据分析学习路径技术栈统计学PythonNumpyPandasMatplotlibSeabornScikit-learnpytorch、tensorflowPaddlePaddle（百度）、MindSpore（华为）、MegEngine（天元）、Jittor（清华）、OneFlow（一流科技）业务认知

数据分析的重要性量化IT投资成效，以数据驱动决策通过数据分析验证产品成效通过数据分析洞察用户通过数据分析找到机会点

数据分析需求的问题发现以数据分析思维看待问题数据分析思维是使用数据分析技能来解决问题的能力。数据分析思维是要搭建分析思