教学课件1：数据采集基础.ppt

正版课件 内容可修改;概述;1;1、理解数据 什么是数据？ 只要承载了一定的信息，这些数字、图片、文本、声音等都可以认为是数据。没有承载信息的数字是不能作为数据的，认识清楚这个问题，是踏入大数据之门的第一步。 数据从哪里来？ 从微观层面看，我们每个人都在生产着数据：早上8点，你使用支付宝购买了早餐；上午10点，你给100086打一次电话咨询话费余额；下午六点，你乘坐的公共交返回家中。然后，支付宝获取了你的使用习惯和消费能力，时时向你推荐花呗等应用；10086获取了你的咨询需求，推出了自助话费查询功能；公共交通将你的信息提供给了保险公司，就有了后来的“先生/女士，现向你推荐一款公共交通安全险.....” ;数据从哪里来？ 从宏观层面看，各种行业以几何倍数爆发增长的速度在制造着数据，比如互联网（社交，有哪些信誉好的足球投注网站，电商）、移动互联网（微博）、物联网（传感器）、医学影像、安全监控、金融（银行，股市，保险）电信（通话，短信）都在疯狂的产生着数据，已经不能用G或T来衡量，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;教学内容;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;教学内容;数据清洗的相关概念;数据清洗的相关概念;数据清洗的相关概念;数据清洗的相关概念;数据清洗的相关概念;教学内容;数据采集与清洗的流程和场景;现在各行各业都在收集自己的相关数据，数据采集应用领域非常广泛： 工业领域 工业生产中，涉及到多种环境因素，且这些因素会影响到产品的生产过程和参与生产过程的安全： 设备的电能消耗数据采集 生产场所的温湿度、气压的数据采集 农业领域 农作物生产分不同的阶段，不同阶段需采集不同的数据： 种植准备的阶段：采集土壤数据 种植和培育阶段：采集温度、湿度、CO2等???据 农作生长阶段：采集环境信息、养分信息和病虫情况等 ;金融领域 大数据在金融领域的应用，一般认为有精准营销和大数据风控两个方面： 基于行为数据去预测用户的偏好和兴趣 大数据风控的两个应用，信用风险和欺诈风险 电商领域 网络电商平台 电商APP 用户信息;在数据分析的时候常常会涉及数据清洗，使用场景非常广泛，例如： 工业领域 工业产生的数据非常巨大，采集的数据非常多，但是采集的数据不一定直接可用，需要进一步清洗： 机器运行数据 产品统计量 农业领域 农产品的产量 土壤的数据量;健康数据 身体指标 血液检测指标 运动数据 天气数据 气温 湿度 空气成分 ;小结：;