认识数据处理调研报告.ppt

认识数据处理 调研报告 调研小组：周源 王彬 郑洋 点击添加文本 点击添加文本 点击添加文本 点击添加文本 目录 CONTENTS 数据的清洗 数据的分析 数据的建模 数据的可视化 数据处理问 题及市场分析 1 2 3 4 5 总结 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的清洗 1 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的清洗 检测数据中存在的错误和不一致，剔除或者改正它们，以提高数据的质量。 数据清洗是指发现并纠正数据文件中可识别的错误。简单来说就是按照一定的规则，把数据里面那些“脏数据”清理掉的行为，就是数据清洗。 1.什么是数据的清洗？ 2.数据清洗的目的是什么？ 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的清洗 利用有关技术，如统计方法、数据挖掘方法、模式规则方法等将脏数据转换为满足数据质量要求的数据。 3.数据清洗的原理是什么？ 4. 数据清洗的流程是什么？ 1.DataWrangler： 2.Google Refine 数据清洗的工具 数据的清洗 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的分析 2 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的分析 调查研究：收集、分析、挖掘数据 ? 图表分析：分析、挖掘的结果做成图表 指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 1.何为数据分析 2.分析数据的步骤 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的分析 常用的分析工具:Excel 在商业智能领域:Cognos、Style Intelligence、Microstrategy. 国内产品:Yonghong Z-Suite BI套件等。 常用的方法主要有: 1分类、2回归分析、3聚类、4关联规则、 5特征、6变化和偏差分析、7Web页挖掘. 3.分析方法 4.分析工具 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的建模 3 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的建模 1概念模型设计. 2逻辑模型设计. 3物理模型设计. 数据模型是抽象描述现实世界的一种工具和方法 1.数据建模 2.数据建模主要包括 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的建模 1.Sybase PowerDesigner . 2.ERWin . 3.Rational Rose Enterprise . 4.Visio Professional . 5.Dezign . 6.CASE Studio . 3.一些建模工具： 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的可视化 4 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的可视化 1.坐标 2.大小 3.色彩 4.标签 5.关联 数据可视化的目的，是要对数据进行可视化处理，以使得能够明确地、有效地传递信息。 1.数据可视化是什么？ 2.数据可视化的构成要素 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的可视化 第一部分：入门级工具 Excel 1思维导图 2新闻的显示 3数据的显示 4连接的显示 5网站的显示 6文章与资源 7工具与服务 3.数据可视化的适用范围 4.可视化一些工具： 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的可视化 4.可视化一些工具： 第二部分：在线数据可视化工具 Google Chart API 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的可视化 4.可视化一些工具： 第三部分：互动图形用户界面（GUI）控制 Crossfilter 点击添加文本 点击添加文本 点击添加文本 点击添加文本 数据的可视化 4.可视化一些工具： 第四部分：专家级工具 R语言 点击添加文本 点击添加文本 点