Python数据分析与应用全套教学课件.pptx

Python数据分析概述;;广州市地方财政收入分析 ;湾区青年女性对数字化岗位的认识【你认为从事数字化职业的困难有什么】;下列鸢尾花分别属于哪一类：setosa、versicolor、virginica ;广义的数据分析包括狭义数据分析和数据挖掘。 狭义的数据分析是指根据分析目的，采用对比分析、分组分析、交叉分析和回归分析等分析方法，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用，得到一个特征统计量结果的过程。 数据挖掘则是从大量的、不完全的、有噪声的、模糊的、随机的实际??用数据中，通过应用聚类、分类、回归和关联规则等技术，挖掘潜在价值的过程。;典型的数据分析流程 ;需求分析：数据分析中的需求分析也是数据分析环节的第一步和最重要的步骤之一，决定了后续的分析的方向、方法。 数据获取：数据是数据分析工作的基础，是指根据需求分析的结果提取，收集数据。 数据预处理：数据预处理是指对数据进行数据合并，数据清洗，数据变换和数据标准化，数据变换后使得整体数据变为干净整齐，可以直接用于分析建模这一过程的总称。 分析与建模：分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法和聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论的过程。 模型评价与优化：模型评价是指对已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。 部署：部署是指将通过了正式应用数据分析结果与结论应用至实际生产系统的过程。 ;1.客户分析 对基本数据进行商业行为分析，界定目标客户，并根据客户特点，使用一系列方法对其进行分析，从而提高销售效率。 客户采购类型、采购性质进行分类分析制定不同的营销策略。 还可以进行客户特征分析、客户忠诚分析、客户注意力分析、客户营销分析和客户收益分析。 ;2. 社交媒体分析 以不同社交媒体渠道生成的内容为基础，实现不同社交媒体的用户分析，访问分析，互动分析等。同时，还能为情感和舆情监督提供丰富的资料。 用户分析主要根据用户注册信息，登录平台的时间点和平时发表的内容等用户数据，分析用户个人画像和行为特征。 访问分析则是通过用户平时访问的内容，分析用户的兴趣爱好，进而分析潜在的商业价值。 互动分析根据互相关注对象的行为预测该对象未来的某些行为特征。;3. 营销分析 产品分析主要是竞争产品分析，通过对竞争产品的分析制定自身产品策略。 价格分析又可以分为成本分析和售价分析，成本分析的目的是降低不必要成本，售价分析的目的是制定符合市场的价格。 渠道分析目的是指对产品的销售渠道进行分析，确定最优的渠道配比。 广告与促销分析则能够结合客户分析，实现销量的提升，利润的增加。 ;4. 网络安全 新型的病毒防御系统可使用数据分析技术，建立潜在攻击识别分析模型，监测大量网络活动数据和相应的访问行为，识别可能进行入侵的可疑模式，做到未雨绸缪。;5. 设备管理 通过物联网技术能够收集和分析设备上的数据流，包括连续用电、零部件温度、环境湿度和污染物颗粒等无数潜在特征，建立设备管理模型，从而预测设备故障，合理安排预防性的维护，以确保设备正常作业，降低因设备故障带来的安全风险。;6. 交通物流分析 物流是物品从供应地向接收地的实体流动。通过业务系统和GPS定位系统获得数据，对于客户使用数据构建交通状况预测分析模型，有效预测实时路况、物流状况、车流量、客流量和货物吞吐量，进而提前补货，制定库存管理策略。;7. 欺诈行为检测 身份信息泄露盗用事件逐年增长，随之而来的是欺诈行为和交易的增多。公安机关，各大金融机构，电信部门可利用用户基本信息，用户交易信息，用户通话短信信息等数据，识别可能发生的潜在欺诈交易，做到提前预防未雨绸缪。 ;;简单、易学 免费、开源 高级语言 强大的第三方类库 可扩展性、可嵌入性、跨平台性 ;1．IPython——科学计算标准工具集的组成部分 是一个增强的Python shell，目的是提高编写、测试、调试Python代码的速度。 主要用于交互式数据并行处理，是分布式计算的基础架构。 提供了一个类似于Mathematica的HTML笔记本，一个基于Qt框架的GUI控制台，具有绘图、多行编辑以及语法高亮显示等功能。 Jupyter notebook的运行基础。;2．NumPy(Numerical Python)—— Python 科学计算的基础包 快速高效的多维数组对象 ndarray。 对数组执行元素级的计算以及直接对数组执行数学运算的函数。 读写硬盘上基于数组的数据集的工具。 线性代数运算、傅里叶变换，以及随机数生成的功能。 将 C、C++、Fortran 代码集成到 Python 的工具。 ;3．SciPy——专门解决科学计算中各种标准问题域的模块的集合 egrate